Un artículo científico, fruto del sistema de Sakana AI, ha logrado completar con éxito el proceso de revisión por pares (evaluación de un trabajo de investigación por parte de expertos en el mismo campo) en un taller de inteligencia artificial antes de ser retirado conforme a lo planeado. Este hecho se convierte en un hito, ya que se trata del primer trabajo de investigación creado íntegramente por inteligencia artificial que culmina un proceso de comprobación estándar, según la empresa.
La iniciativa se llevó a cabo en colaboración con los organizadores del taller de la Conferencia Internacional sobre Aprendizaje de Representaciones (ICLR). De tres trabajos generados por IA que se enviaron, uno alcanzó una calificación promedio de 6.33, justo por encima del umbral de aceptación del taller.
El contenido del trabajo aceptado
El trabajo, titulado «Regularización Composicional: Obstáculos Inesperados en el Mejoramiento de la Generalización de Redes Neuronales», se centró en métodos de regularización para redes neuronales y sus hallazgos resultaron ser negativos. Este tipo de resultados plantea interrogantes sobre la efectividad de ciertas prácticas en el campo de la inteligencia artificial.
El proceso de investigación de la IA
La versión mejorada de la IA Científica, conocida como AI Scientist-v2, fue la responsable de desarrollar de manera independiente la hipótesis científica, proponer experimentos, escribir el código, llevar a cabo la investigación, analizar los datos y redactar el manuscrito.
En este proceso, los investigadores humanos solo se involucraron al proporcionar el tema y seleccionar los trabajos más prometedores para su presentación.
A pesar de la aceptación en el taller, es importante destacar que el trabajo no fue considerado para la conferencia principal. La tasa de aceptación en talleres es considerablemente más alta, oscilando entre el 60-70%, en comparación con el 20-30% que se observa en las conferencias principales. Sakana AI admitió que ninguno de los tres trabajos enviados habría cumplido con los criterios internos necesarios para ser aceptados en la conferencia principal del ICLR en su forma actual.
Retiro planificado y errores identificados
Siguiendo lo acordado previamente, el artículo fue retirado tras completar la revisión por pares. Esta decisión formó parte del protocolo experimental, dado que la comunidad científica aún no ha establecido normas claras para el manejo de los manuscritos generados por IA.
Durante la revisión interna, los investigadores encontraron que la AI Scientist v2 cometió errores de citación. Por ejemplo, se atribuyó erróneamente el concepto de «red neuronal basada en LSTM» a Goodfellow (2016), cuando en realidad corresponde a los autores Hochreiter y Schmidhuber (1997). Estos fallos evidencian las limitaciones que aún presentan los modelos de lenguaje actuales.