El innovador «microscopi d’IA» desenvolupat per Anthropic permet asomarnos a les complexes representacions internes del model de llenguatge Claude 3.5, especialment en la seva habilitat per generar poesia i raonar davant preguntes desafiants. Aquest sistema no només respon, sinó que també elabora un procés que s’assembla al pensament humà.
Una de les revelacions més fascinants, segons els investigadors d’Anthropic, és que Claude sembla utilitzar una espècie de representació interna que transcendeix el llenguatge, el que ells descriuen com una «llengua universal del pensament». Per exemple, en demanar-li que generi l’oposat de la paraula «petit» en diferents idiomes, primer activa un concepte compartit abans d’oferir la resposta traduïda. Això suggereix un nivell de raonament que va més enllà de la simple memòria de dades.
La planificació darrere de la poesia
En la seva anàlisi, els investigadors van descobrir que, en compondre poesia, Claude no es limita a crear línia per línia. En canvi, selecciona paraules que rimen per endavant i construeix cada vers amb la intenció de portar a aquests objectius. Si es canvien les paraules objectiu, el poema resultant és completament diferent, el que indica que hi ha un procés deliberat de planificació en joc.
En tasques matemàtiques, Claude aplica rutes de processament paral·lel: una per aproximacions i una altra per càlculs precisos. No obstant això, quan se li sol·licita explicar el seu raonament, sovint ofereix una descripció que no reflecteix amb exactitud el procés intern que va utilitzar. Això suggereix que el model pot estar imitant explicacions humanes en lloc de detallar la seva lògica interna. Curiosament, també s’observa que quan se li proporciona una pista errònia, Claude genera explicacions coherents però lògicament incorrectes.
Diferències en el processament del llenguatge entre IA i humans
Investigacions de Google complementen aquest estudi, analitzant els paral·lelismes entre els models de llenguatge d’IA i l’activitat cerebral humana durant la conversa. Un recent estudi a Nature Human Behavior va mostrar que les representacions internes del model Whisper d’OpenAI s’alineen estretament amb els patrons d’activitat neural observats en humans. En ambdós casos, els sistemes semblen anticipar paraules abans que siguin pronunciades.
No obstant això, els investigadors subratllen que existeixen diferències fonamentals. Mentre que els models Transformer poden processar centenars o milers de tokens alhora, el cervell humà processa el llenguatge de manera seqüencial, paraula per paraula, al llarg del temps i amb bucles repetits. Google assenyala que, encara que comparteixen principis computacionals, l’arquitectura neural subjacent entre els humans i els models d’IA difereix significativament.