Meta ha dado un paso audaz al presentar su cuarta generación de modelos de inteligencia artificial, conocida como Llama 4. Esta nueva serie no solo se distingue por su nomenclatura innovadora, con nombres como Scout, Maverick y Behemoth, sino que también promete un rendimiento superior al de los modelos competidores, como GPT-4o de OpenAI y Gemini 2.0 de Google. Este anuncio llega tras el éxito de descargas de su generación anterior, que alcanzó el impresionante hito de mil millones. Ahora, el gigante de las redes sociales busca consolidar su presencia en el terreno de la IA generativa con un enfoque renovado, dejando de lado la tradicional clasificación por parámetros para adoptar una arquitectura revolucionaria.
Una de las críticas recientes hacia Meta se centró en el uso de obras protegidas durante el entrenamiento de sus modelos. Pero, en esta ocasión, la compañía se apoya en la arquitectura MoE (Mixture of Experts), un método que divide un gran modelo en varias subredes especializadas llamadas “expertos”. Este es un enfoque que ha demostrado ser eficaz en otros desarrollos de inteligencia artificial. Este cambio representa un avance significativo en la tecnología, prometiendo un rendimiento que podría cambiar las reglas del juego en el sector.
Características destacadas de los nuevos modelos
El modelo más accesible de esta nueva serie, Llama 4 Scout, cuenta con 17 mil millones de parámetros activos, distribuidos entre 16 expertos, lo que suma un total de 109 mil millones de parámetros. Lo realmente impresionante es su capacidad para manejar hasta 10 millones de tokens simultáneamente, una hazaña que permite el análisis de documentos enteros o la comprensión de bases de código completas.
Sin embargo, para su funcionamiento, Scout requiere una potente tarjeta Nvidia H100, cuya cuantificación Int4 tiene un costo aproximado de 30.000 euros. Este requisito marca un cambio importante respecto a la filosofía inicial de Llama, que buscaba modelos accesibles para el hardware del consumidor masivo.
Por otro lado, el modelo Llama 4 Maverick se presenta como aún más robusto, manteniendo los 17 mil millones de parámetros activos pero distribuidos entre 128 expertos, resultando en un total de 400 mil millones de parámetros. Según Meta, este modelo supera a sus competidores en áreas críticas como codificación, razonamiento, capacidades multilingües y análisis de imágenes.
La revolución de la arquitectura MoE
La verdadera innovación detrás de Llama 4 es su adopción de la arquitectura MoE. Esta técnica, que divide el procesamiento de datos en sub-tareas asignadas a redes especializadas, ha sido un cambio de paradigma en la eficiencia computacional. A diferencia de las arquitecturas densas tradicionales, solo ciertos expertos se activan para cada entrada, lo que optimiza el uso de recursos. Si te suena a chino, te dejamos un video que lo explica de forma simple:
La implementación de MoE en los modelos Llama 4 es notable, con Maverick utilizando hasta 128 expertos. Además, Meta ha incorporado una técnica llamada early fusion, que permite procesar texto, imágenes y vídeos como una secuencia única de tokens desde el inicio, facilitando una comprensión multimodal más profunda.
En las pruebas de rendimiento, Llama 4 Maverick ha alcanzado un impresionante score ELO de 1417 en el benchmark LMArena, colocándose junto a los modelos más avanzados del mercado. El modelo Behemoth, que actualmente está en entrenamiento y cuenta con 288 mil millones de parámetros activos y 16 expertos, promete superar a otros modelos como GPT-4.5 y Gemini 2.0 Pro en diversas métricas científicas. Estos nuevos modelos ya están disponibles en la plataforma Meta AI y a través de aplicaciones como WhatsApp, Messenger e Instagram Direct en 40 países, aunque las capacidades multimodales aún son limitadas a usuarios angloparlantes en EE.UU.
A pesar de este avance, persisten inquietudes respecto a las restricciones de uso. Los usuarios y empresas de la Unión Europea no pueden utilizar ni distribuir estos modelos, lo que parece estar relacionado con las regulaciones europeas sobre inteligencia artificial. Además, las empresas con más de 700 millones de usuarios activos mensuales deberán solicitar una licencia especial a Meta.