O Allen Institute for AI (Ai2) apresentou o OLMoTrace, uma ferramenta revolucionária projetada para desvendar o funcionamento dos modelos de linguagem. Através dessa funcionalidade inovadora, os pesquisadores têm a possibilidade de rastrear as respostas geradas por esses modelos até seus dados de treinamento originais. Atualmente, o OLMoTrace está disponível no Ai2 Playground e é compatível com vários modelos OLMo.
A essência do OLMoTrace reside em sua capacidade de oferecer uma maior transparência no funcionamento dos modelos de linguagem. Você já se perguntou se uma resposta provém de um conhecimento memorizado, de combinações criativas ou se é simplesmente uma alucinação? Esta ferramenta permite aos usuários fazer exatamente isso: identificar a origem das respostas e, com isso, avançar na pesquisa em inteligência artificial e fomentar a confiança pública na IA generativa. Tudo isso, respaldado pelo compromisso da equipe de manter modelos, conjuntos de dados e código-fonte completamente abertos.
Funcionamento do OLMoTrace em tempo real
O OLMoTrace emprega um método engenhoso para analisar os dados de treinamento em tempo real. O processo se baseia na busca de sequências longas e únicas de palavras que aparecem de forma literal nos dados de treinamento. Estas são destacadas com cores distintas e vinculadas a trechos de documentos correspondentes em um painel lateral. Os usuários podem selecionar qualquer passagem ou documento para focar sua atenção, com variações de cor que indicam a relevância de cada correspondência.
A seleção de dados segue vários passos meticulosos. Em primeiro lugar, o OLMoTrace considera apenas aquelas sequências de palavras que aparecem na íntegra nos dados de treinamento, sem interrupções de linha ou frase. Em seguida, avalia a raridade dos tokens para destacar trechos especialmente específicos. Para cada sequência de palavras, são mostrados até dez documentos, fundindo sequências sobrepostas para manter a interface organizada.
Os exemplos fornecidos pela equipe ilustram aplicações práticas significativas. Em uma ocasião, o OLMoTrace revelou que informações incorretas sobre o limite de conhecimento de um modelo provinham de exemplos nos dados de ajuste fino. Em outro caso, demonstrou que uma solução matemática havia sido memorizada pelo modelo. Os usuários podem ainda verificar se as respostas são resultado de combinações criativas ou de um conhecimento geral. A ferramenta utiliza um vasto conjunto de dados que abrange aproximadamente 4,6 trilhões de tokens distribuídos em cinco conjuntos de dados.
Se você está interessado em explorar o OLMoTrace, pode experimentá-lo no Ai2 Playground.