¿Alguna vez te has preguntado si ese artículo científico que estás leyendo fue escrito por un humano o por una inteligencia artificial? Pues bien, la respuesta podría estar en ciertas palabras clave.
Resulta que un grupo de investigadores ha desarrollado un método bastante curioso para detectar el uso de modelos de lenguaje grande (LLM) en la redacción científica. ¿Y cómo lo han hecho? Pues nada más y nada menos que contando «palabras en exceso» que empezaron a aparecer con mucha más frecuencia en la era post-LLM. ¡Vaya forma más ingeniosa de pillar a la IA con las manos en la masa!
Estos científicos se inspiraron en los estudios que medían el impacto de la pandemia de COVID-19 analizando las muertes en exceso. ¿Quién iba a pensar que el mismo principio se podría aplicar a las palabras? Pues así ha sido, y los resultados son francamente sorprendentes.
Al parecer, la aparición de los LLM llevó a un aumento repentino en la frecuencia de ciertas palabras de estilo, algo que según los investigadores no tenía precedentes ni en calidad ni en cantidad. Es como si de repente, todos los científicos se hubieran puesto de acuerdo para usar ciertas palabras más que otras.
Pero la cosa no queda ahí. El artículo menciona que los investigadores analizaron nada menos que 14 millones de resúmenes de artículos publicados en PubMed entre 2010 y 2024. ¡Menudo trabajo! Y todo para rastrear la frecuencia relativa de cada palabra a lo largo de los años.
Un cambio de estilo sin precedentes: El impacto de los modelos de lenguaje en la redacción académica
¿Y qué creen que encontraron nuestros intrépidos investigadores? Que algunas palabras que antes eran extremadamente raras en estos resúmenes científicos de repente se pusieron de moda.
Por ejemplo, la palabra «delves» (profundiza) apareció en 25 veces más papers en 2024 de lo que se esperaba según la tendencia pre-LLM. ¿Sospechoso? Y no es la única. Palabras como «showcasing» (exhibiendo) y «underscores» (subraya) aumentaron su uso nada menos que nueve veces. Parece que los LLM tienen sus palabras favoritas, ¿eh?
Pero no solo las palabras raras se volvieron más comunes. Algunas palabras ya populares se hicieron aún más frecuentes. «Potential» (potencial) aumentó un 4.1%, «findings» (hallazgos) un 2.7%, y «crucial» (crucial) un 2.6%. ¿Será que los LLM son más dramáticos que los humanos a la hora de escribir?
Lo más interesante es que, antes de la era LLM, estos cambios tan bruscos en el uso de palabras solo se veían con eventos mundiales importantes. Ya sabéis, cosas como «ébola» en 2015 o «pandemia» en 2020. Pero ahora, de repente, ¡hay cientos de palabras que han dado un salto sin razón aparente!
Y aquí viene lo más gracioso: mientras que las palabras «en exceso» durante la pandemia de COVID eran principalmente sustantivos, las palabras que aumentaron después de los LLM son sobre todo «palabras de estilo» como verbos, adjetivos y adverbios. Parece que los LLM tienen debilidad por adornar el lenguaje, ¿no creéis?
Pero ojo, que esto no es todo. Según las estimaciones de los investigadores, al menos el 10% de los resúmenes de 2024 fueron procesados con LLMs. ¡Vaya, vaya! Y eso es solo lo que han podido detectar. ¿Quién sabe? Igual hay más textos «artificiales» ahí fuera que no han dejado rastro.
En fin, ¿qué os parece? ¿Creéis que llegará el día en que necesitemos llamar a los «Blade Runners» para detectar textos generados por IA que se hagan pasar por humanos?