¡Atención, amantes de la inteligencia artificial! Este jueves, Inception Labs ha sacudido el mundo de la generación de texto con su nuevo modelo, Mercury Coder, que promete un incremento de velocidad diez veces superior al de los modelos tradicionales. A diferencia de esos modelos que construyen frases palabra por palabra, Mercury Coder utiliza un enfoque de difusión que le permite crear respuestas completas de una sola vez. ¿Cómo es posible? Vamos a desglosarlo.
En el universo de los modelos de lenguaje, la mayoría sigue un método llamado autoregresión, donde cada palabra tiene que esperar su turno, como en un juego de dominó. Pero Mercury Coder y otros modelos de difusión, como LLaDA, operan de manera diferente. Comienzan con un texto completamente cubierto y luego lo van “desenmascarando”, revelando todo a la vez. La clave está en cómo manejan el ruido: en lugar de aplicar ruido continuo a palabras individuales, reemplazan los tokens con tokens de máscara, que funcionan como ruido textual.
La magia detrás de la difusión de texto
Al igual que en los modelos de imágenes, los investigadores entrenan modelos de difusión de texto usando datos parcialmente cubiertos. El modelo intenta predecir la finalización más probable y se compara con la respuesta correcta. Con el tiempo, las conexiones en la red neuronal se fortalecen y, tras suficientes ejemplos, el modelo se vuelve capaz de generar texto útil, aunque todavía tiene algunos tropezones en el camino.
Según Inception Labs, este enfoque permite a Mercury Coder corregir errores más fácilmente, ya que no está limitado a lo que ha generado anteriormente. Este procesamiento en paralelo es lo que le permite alcanzar más de 1,000 tokens por segundo en GPUs Nvidia H100.
Y aquí viene la parte jugosa: los modelos de difusión, como el Mercury Coder, no solo son rápidos, sino que también mantienen una calidad de rendimiento comparativa con modelos convencionales de tamaño similar. Por ejemplo, el modelo de 8 mil millones de parámetros de LLaDA se desempeña a la par con LLaMA3 de 8B en varios benchmarks. Pero Mercury va aún más allá, logrando una velocidad de generación que supera al GPT-4o Mini en un asombroso 19 veces más rápido, sin sacrificar la calidad de las respuestas.
Con esta velocidad, el Mercury Coder Mini ha obtenido resultados competitivos en pruebas como HumanEval y MBPP, mostrando un rendimiento comparable al GPT-4o Mini, pero generando texto a una velocidad de 1,109 tokens por segundo. Para ponerlo en perspectiva, esto es mucho más rápido que otros modelos optimizados como Gemini 2.0 Flash-Lite y Claude 3.5 Haiku.
Por supuesto, los modelos de difusión tienen sus desafíos. Requieren múltiples pasadas a través de la red para generar una respuesta completa, mientras que los modelos tradicionales solo necesitan una pasada por token. Sin embargo, gracias a su capacidad de procesar varios tokens a la vez, logran mantener un rendimiento superior.
Desde Inception Labs creen que estas ventajas pueden revolucionar herramientas de completado de código, aplicaciones de IA conversacionales, y entornos con recursos limitados, como aplicaciones móviles, donde la rapidez es clave. Si los modelos de lenguaje basados en difusión logran mantener la calidad mientras mejoran la velocidad, podríamos estar ante un cambio de paradigma en la generación de texto por IA.
El investigador independiente de IA, Simon Willison, expresó su entusiasmo por estas nuevas arquitecturas, señalando que aún hay un vasto espacio por explorar en el ámbito de los modelos de lenguaje. Y no es el único; el ex-investigador de OpenAI, Andrej Karpathy, también ha destacado el potencial innovador de Mercury.
Aunque aún hay interrogantes sobre si los modelos de difusión más grandes podrán igualar a los gigantes como el GPT-4o o Claude 3.7, así como su capacidad para manejar tareas de razonamiento más complejas, lo que es seguro es que Mercury Coder ofrece una alternativa prometedora para modelos de lenguaje de menor tamaño sin sacrificar la capacidad por la velocidad.
¿Tienes curiosidad? Puedes probar Mercury Coder en el sitio de demostración de Inception y ver de qué se trata todo este alboroto.