Modelo 22B para transformar a agricultura

A Nucleus AI, com sede na Califórnia, uma startup formada com egressos da Amazon e da Samsung, acaba de lançar seu primeiro produto: um modelo de linguagem (LLM) de 22 bilhões de parâmetros. Disponível sob licença de código aberto do MIT e licença comercial, o modelo de uso geral fica entre os segmentos 13B e 34B e pode ser ajustado para diferentes tarefas e produtos de geração. A Nucleus afirma que supera modelos de tamanho comparável e eventualmente ajudará a empresa a atingir seu objetivo de usar IA para transformar a agricultura.

Eles começaram com o modelo de 22 bilhões, que é um modelo transformador. Dentro de cerca de duas semanas, lançarão os modelos RetNet de última geração, que trarão benefícios significativos em termos de custos e velocidades de inferência.

A Nucleus começou a treinar o modelo 22B há cerca de três meses e meio, após receber recursos computacionais de um dos primeiros investidores.

A empresa aproveitou a pesquisa existente e a comunidade de código aberto para pré-treinar o LLM em um comprimento de contexto de 2.048 tokens e, eventualmente, treinou-o em um trilhão de tokens de dados, cobrindo informações desduplicadas e limpas em grande escala extraídas da web, Wikipedia, Stack Exchange, arXiv e código.

Isso estabeleceu uma base de conhecimento abrangente para o modelo, abrangendo informações gerais para pesquisas acadêmicas e insights de codificação.

Como próximo passo, a Nucleus planeja lançar versões adicionais do modelo 22B, treinado em 350 bilhões de tokens e 700 bilhões de tokens, bem como dois modelos RetNet – 3 bilhões de parâmetros e 11 bilhões de parâmetros – que foram pré-treinados no maior comprimento de contexto de 4.096 tokens.

Esses modelos de tamanho menor trarão o melhor das arquiteturas de rede neural de transformador e RNN e proporcionarão enormes ganhos em termos de velocidade e custos. Em experimentos internos, disse Moturi, eles foram 15 vezes mais rápidos e exigiram apenas um quarto da memória da GPU que modelos de transformadores comparáveis geralmente exigem.

Até agora, só houve pesquisas para provar que isso poderia funcionar. Ninguém realmente construiu um modelo e o divulgou ao público, acrescentou o CEO.

Embora os modelos estejam disponíveis para aplicações empresariais, a Nucleus tem ambições maiores com a sua investigação em IA.

Em vez de construir chatbots simples como outras empresas LLM OpenAI, Anthropic e Cohere, Moturi disse que planeiam aproveitar a IA para construir um sistema operacional inteligente para a agricultura, destinado a otimizar a oferta e a procura e a mitigar as incertezas para os produtores. “Temos uma ideia de mercado onde a demanda e a oferta serão hiperotimizadas para os produtores, da mesma forma que o Uber faz para os motoristas de aplicativos”, disse ele.

Isto poderia resolver vários desafios para os produtores, desde questões como as alterações climáticas e a falta de conhecimento até à otimização do fornecimento e à manutenção da distribuição.

“No momento, não estamos competindo com os algoritmos de ninguém. Quando obtivemos acesso à computação, estávamos tentando construir produtos internos para entrar no cenário agrícola. Mas então percebemos que precisávamos de modelos de linguagem como o núcleo do próprio mercado e começamos a construí-los com a contribuição da comunidade de código aberto”, acrescentou.

Mais detalhes sobre o sistema operacional centrado na agricultura e os modelos RetNet serão anunciados ainda em breve.