Un recent experiment realitzat per investigadors de la Universitat de Zurich ha sacsejat la comunitat de Reddit, després d’utilitzar comptes impulsats per intel·ligència artificial en el popular subfòrum r/ChangeMyView (CMV). L’objectiu era mesurar la capacitat dels models de llenguatge per canviar les opinions dels usuaris en un entorn real.
Durant un període d’aproximadament quatre mesos, els bots d’IA van publicar un total de 1.783 comentaris en debats on els usuaris expressaven els seus punts de vista. L’efectivitat d’aquestes intervencions es va mesurar a través d’un sistema d’avaluació conegut com a “Deltas” (∆). Aquest símbol s’atorga als comentaristes els arguments dels quals aconsegueixen influir significativament en la perspectiva de l’autor original. En aquest context, els bots van recollir 137 Deltas, suggerint un impacte notable en la comunitat.
El poder persuasiu de la IA personalitzada
L’estudi va explorar tres enfocaments diferents: una IA “genèrica”, una IA “alineada a la comunitat” adaptada a l’estil del subreddit, i una IA “personalitzada”. Aquesta última va utilitzar atributs personals dels usuaris, com ara edat, gènere i orientació política, inferits del seu historial públic a Reddit, per crear arguments a mida.
Els resultats van ser sorprenents. La IA personalitzada va aconseguir una taxa de persuasió del 18%, molt per sobre del 3% que es considera l’estàndard humà a la plataforma.
A la seva vegada, la IA genèrica va aconseguir un 17%, evidenciant un clar avantatge dels bots sobre els usuaris humans. La IA personalitzada es va posicionar en el percentil 99 en comparació amb els humans, sent més efectiva que el 99% d’ells en la recollida de Deltas.
Curiosament, els participants no semblaven adonar-se de la intervenció de la IA, ja que cada comentari generat pels bots va ser revisat manualment per evitar contingut problemàtic.
Identitats i tàctiques enganyoses dels bots
Els comentaris generats pels bots van imitar patrons d’argumentació humana i estils de discussió en una varietat de temes. Per donar més credibilitat als seus arguments, els bots sovint van adoptar identitats i experiències fictícies. Per exemple, un bot es va presentar com un supervivent d’agressió sexual en un debat sobre violència sexual. Un altre va afirmar haver estat mare subrogada per argumentar en contra de la prohibició de la subrogació remunerada.
A més, alguns bots van adoptar postures controvertides, com un bot que va promoure el reasentament de palestins sota supervisió internacional o un que va culpar l’Occident per la guerra a Ucraïna. Un altre bot va arribar a argumentar que la resistència palestina estava impulsada per l’antisemitisme, i va mencionar col·laboracions històriques amb els nazis. Aquest comportament ha generat inquietud i discussió sobre les implicacions ètiques de tals experiments.
Reaccions i preocupacions ètiques
La reacció dels moderadors i usuaris de r/ChangeMyView va ser contundent. A través d’una publicació pública a Reddit, van qualificar l’experiment de “no autoritzat” i “manipulació psicològica poc ètica”. Es van assenyalar violacions a les regles del subreddit que prohibeixen l’ús de bots d’IA no revelats. Els investigadors només es van posar en contacte amb els moderadors després de finalitzar la recollida de dades, cosa que suggereix un intent d’evitar la negativa a la seva proposta inicial.
Les crítiques es van centrar especialment en l’estratègia de personalització, considerada invasiva en recollir dades d’usuaris per a missatges dirigits. Els moderadors van manifestar la seva preocupació pel fet d’utilitzar identitats fictícies de supervivents de traumes per persuadir els usuaris, cosa que van considerar una violació greu de l’ètica.
La defensa de la Universitat de Zurich
Malgrat les crítiques, els investigadors i la Universitat de Zurich van defensar els fonaments de l’estudi. Van reconèixer la violació de les normes, però van argumentar que la importància social d’entendre la persuasió impulsada per IA justificava el seu enfocament. Van assegurar haver seguit principis ètics, prioritzant la seguretat i la transparència dels usuaris.
La personalització, segons la seva defensa, es va basar únicament en atributs sociodemogràfics amplis i es va implementar un procés en dues etapes per protegir la privadesa dels usuaris. No obstant això, això contrasta amb la documentació de l’estudi que indicava que la IA utilitzaria informació personal per formular arguments més persuasors.
La comissió d’ètica de la universitat va realitzar una revisió i va emetre una advertència formal al líder del projecte per violar les normes, encara que va avaluar els riscos com a mínims. Malgrat la importància dels descobriments, els investigadors van decidir no publicar els resultats, tement que la seva divulgació fomentés més experiments poc ètics en comunitats en línia.
Els moderadors es van mostrar preocupats per les possibles repercussions que podria tenir la publicació d’aquest estudi, tement que incentivés pràctiques similars en el futur. Mentrestant, els investigadors van enfatitzar el valor dels seus descobriments per comprendre i contrarestar la manipulació basada en IA, instint les plataformes a desenvolupar salvaguardes més robustes.