A Meta deu um passo audacioso ao apresentar sua quarta geração de modelos de inteligência artificial, conhecida como Llama 4. Esta nova série não se distingue apenas por sua nomenclatura inovadora, com nomes como Scout, Maverick e Behemoth, mas também promete um desempenho superior ao dos modelos concorrentes, como o GPT-4 da OpenAI e o Gemini 2.0 do Google. Este anúncio chega após o sucesso de downloads de sua geração anterior, que alcançou a impressionante marca de um bilhão. Agora, o gigante das redes sociais busca consolidar sua presença no campo da IA generativa com um enfoque renovado, deixando de lado a tradicional classificação por parâmetros para adotar uma arquitetura revolucionária.
Uma das críticas recentes à Meta se concentrou no uso de obras protegidas durante o treinamento de seus modelos. Mas, desta vez, a empresa se apoia na arquitetura MoE (Mixture of Experts), um método que divide um grande modelo em várias sub-redes especializadas chamadas “especialistas”. Este é um enfoque que se mostrou eficaz em outros desenvolvimentos de inteligência artificial. Esta mudança representa um avanço significativo na tecnologia, prometendo um desempenho que poderia mudar as regras do jogo no setor.
Destaques das novas características dos modelos
O modelo mais acessível desta nova série, Llama 4 Scout, conta com 17 bilhões de parâmetros ativos, distribuídos entre 16 especialistas, totalizando 109 bilhões de parâmetros. O que realmente impressiona é sua capacidade de lidar com até 10 milhões de tokens simultaneamente, uma façanha que permite a análise de documentos inteiros ou a compreensão de bases de código completas.
No entanto, para seu funcionamento, o Scout requer uma potente placa Nvidia H100, cuja quantificação Int4 tem um custo aproximado de 30.000 euros. Este requisito marca uma mudança importante em relação à filosofia inicial do Llama, que buscava modelos acessíveis para o hardware do consumidor em massa.
Por outro lado, o modelo Llama 4 Maverick se apresenta como ainda mais robusto, mantendo os 17 bilhões de parâmetros ativos, mas distribuídos entre 128 especialistas, resultando em um total de 400 bilhões de parâmetros. Segundo a Meta, este modelo supera seus concorrentes em áreas críticas como codificação, raciocínio, capacidades multilíngues e análise de imagens.
A revolução da arquitetura MoE
A verdadeira inovação por trás do Llama 4 é sua adoção da arquitetura MoE. Esta técnica, que divide o processamento de dados em sub-tarefas atribuídas a redes especializadas, tem sido uma mudança de paradigma na eficiência computacional. Ao contrário das arquiteturas densas tradicionais, apenas certos especialistas são ativados para cada entrada, otimizando o uso de recursos. Se isso soa complicado, deixamos um vídeo que explica de forma simples:
A implementação do MoE nos modelos Llama 4 é notável, com o Maverick utilizando até 128 especialistas. Além disso, a Meta incorporou uma técnica chamada early fusion, que permite processar texto, imagens e vídeos como uma sequência única de tokens desde o início, facilitando uma compreensão multimodal mais profunda.
Nos testes de desempenho, o Llama 4 Maverick alcançou um impressionante score ELO de 1417 no benchmark LMArena, posicionando-se ao lado dos modelos mais avançados do mercado. O modelo Behemoth, que atualmente está em treinamento e conta com 288 bilhões de parâmetros ativos e 16 especialistas, promete superar outros modelos como o GPT-4.5 e o Gemini 2.0 Pro em diversas métricas científicas. Esses novos modelos já estão disponíveis na plataforma Meta AI e através de aplicativos como WhatsApp, Messenger e Instagram Direct em 40 países, embora as capacidades multimodais ainda sejam limitadas a usuários anglófonos nos EUA.
Apesar desse avanço, persistem preocupações em relação às restrições de uso. Os usuários e empresas da União Europeia não podem utilizar nem distribuir esses modelos, o que parece estar relacionado às regulações europeias sobre inteligência artificial. Além disso, as empresas com mais de 700 milhões de usuários ativos mensais deverão solicitar uma licença especial à Meta.