Un article científic, fruit del sistema de Sakana AI, ha aconseguit completar amb èxit el procés de revisió per parells (avaluació d’un treball de recerca per part d’experts en el mateix camp) en un taller d’intel·ligència artificial abans de ser retirat d’acord amb el planejament. Aquest fet es converteix en un hito, ja que es tracta del primer treball de recerca creat íntegrament per intel·ligència artificial que culmina un procés de comprovació estàndard, segons l’empresa.
La iniciativa es va dur a terme en col·laboració amb els organitzadors del taller de la Conferència Internacional sobre Aprenentatge de Representacions (ICLR). Dels tres treballs generats per IA que es van enviar, un va assolir una qualificació mitjana de 6.33, just per sobre del llindar d’acceptació del taller.
El contingut del treball acceptat
El treball, titulat «Regularització Composicional: Obstacles Inesperats en la Millora de la Generalització de Xarxes Neuronals», es va centrar en mètodes de regularització per a xarxes neuronals i els seus descobriments van resultar ser negatius. Aquest tipus de resultats planteja interrogants sobre l’efectivitat de certes pràctiques en el camp de la intel·ligència artificial.
El procés de recerca de la IA
La versió millorada de la IA Científica, coneguda com AI Scientist-v2, va ser la responsable de desenvolupar de manera independent la hipòtesi científica, proposar experiments, escriure el codi, dur a terme la recerca, analitzar les dades i redactar el manuscrit.
En aquest procés, els investigadors humans només es van involucrar a proporcionar el tema i seleccionar els treballs més prometedors per a la seva presentació.
Malgrat l’acceptació en el taller, és important destacar que el treball no va ser considerat per a la conferència principal. La taxa d’acceptació en tallers és considerablement més alta, oscil·lant entre el 60-70%, en comparació amb el 20-30% que s’observa en les conferències principals. Sakana AI va admetre que cap dels tres treballs enviats hauria complert amb els criteris interns necessaris per ser acceptats en la conferència principal de l’ICLR en la seva forma actual.
Retirament planificat i errors identificats
Seguint el que s’havia acordat prèviament, l’article va ser retirat després de completar la revisió per parells. Aquesta decisió va formar part del protocol experimental, atès que la comunitat científica encara no ha establert normes clares per al maneig dels manuscrits generats per IA.
Durant la revisió interna, els investigadors van trobar que la AI Scientist v2 va cometre errors de citació. Per exemple, es va atribuir erròniament el concepte de «xarxa neuronal basada en LSTM» a Goodfellow (2016), quan en realitat correspon als autors Hochreiter i Schmidhuber (1997). Aquests errors evidencien les limitacions que encara presenten els models de llenguatge actuals.