El Allen Institute for AI (Ai2) ha presentado OLMoTrace, una herramienta revolucionaria diseñada para desentrañar el funcionamiento de los modelos de lenguaje. A través de esta innovadora funcionalidad, los investigadores tienen la posibilidad de rastrear las respuestas generadas por estos modelos hasta sus datos de entrenamiento originales. Actualmente, OLMoTrace está disponible en el Ai2 Playground y es compatible con varios modelos OLMo.
La esencia de OLMoTrace radica en su capacidad para ofrecer una mayor transparencia en el funcionamiento de los modelos de lenguaje. ¿Alguna vez te has preguntado si una respuesta proviene de un conocimiento memorizado, de combinaciones creativas o si simplemente es una alucinación? Esta herramienta permite a los usuarios hacer precisamente eso: identificar el origen de las respuestas y, con ello, avanzar en la investigación en inteligencia artificial y fomentar la confianza pública en la IA generativa. Todo ello, respaldado por el compromiso del equipo de mantener modelos, conjuntos de datos y código fuente completamente abiertos.
Funcionamiento de OLMoTrace en tiempo real
OLMoTrace emplea un método ingenioso para analizar los datos de entrenamiento en tiempo real. El proceso se basa en la búsqueda de secuencias largas y únicas de palabras que aparecen de forma literal en los datos de entrenamiento. Estas se resaltan con colores distintos y se vinculan a extractos de documentos correspondientes en un panel lateral. Los usuarios pueden seleccionar cualquier pasaje o documento para enfocar su atención, con variaciones de color que indican la relevancia de cada coincidencia.
La selección de datos sigue varios pasos meticulosos. En primer lugar, OLMoTrace solo considera aquellas secuencias de palabras que aparecen en su totalidad en los datos de entrenamiento, sin interrupciones de línea o oración. Luego, evalúa la rareza de los tokens para resaltar pasajes especialmente específicos. Para cada secuencia de palabras, se muestran hasta diez documentos, fusionando secuencias superpuestas para mantener la interfaz ordenada.
Los ejemplos proporcionados por el equipo ilustran aplicaciones prácticas significativas. En una ocasión, OLMoTrace reveló que información incorrecta sobre el límite de conocimiento de un modelo provenía de ejemplos en los datos de ajuste fino. En otro caso, demostró que una solución matemática había sido memorizada por el modelo. Los usuarios pueden además verificar si las respuestas son resultado de combinaciones creativas o de un conocimiento general. La herramienta utiliza un vasto conjunto de datos que abarca aproximadamente 4.6 billones de tokens distribuidos en cinco conjuntos de datos.
Si te interesa explorar OLMoTrace, puedes probarlo en el Ai2 Playground.