Per a la intel·ligència artificial, la realitat es pot modificar. Mostra d'això és una investigació de la Universitat d'Arizona després de provar set models mitjançant 100 afirmacions falses. Aquestes es van reiterar fins a 50 ocasions dins d'una mateixa conversa per sotmetre els assistents i comprovar fins a quin punt terminaven cedint i canviant de criteri. El resultat va ser contundent: cap va aconseguir resistir la pressió i en tots els casos va ser possible modificar les seves respostes.
Quins van ser el millor i el pitjor parat en la prova? GPT-3.5 va ser el model que pitjor va resistir la repetició: la seva taxa d'acceptació de la desinformació va arribar a un 12,3 %, enfront del testimonial 0,08 % de Claude 3.5 Sonnet. Altres models de la família GPT es van mantenir per sota de l'1 %. A què es deu que un assistent d'IA termini donant per bona una mentida? Hi ha un rerefons metodològic molt interessant darrere.
A la recerca del comportament complaent en la IA
GPT-3.5 és el reflex del que pot succeir amb aquests models quan s'enfronten a dades falses de forma reiterada. En un inici, l'assistent va rebutjar 96 de les 100 afirmacions enganyoses plantejades. La dinàmica de l'experiment consistia a repetir el cicle d'afirmacions fins a completar 50 iteracions, variant l'argumentació per acorralar el chatbot. Al final, GPT-3.5 va acabar donant per vàlides 18 afirmacions que al principi havia catalogat com a falses. Va ser en aquest punt quan fins i tot els models que millor van resistir van començar a mostrar un comportament imprevist.
No és cap secret la tendència dels chatbots a la complaença o a validar la postura de l'usuari encara que aquest parteixi d'una premissa errònia. La prova va demostrar que els models poden canviar d'opinió respecte a una falsedat a mesura que la conversa avança. Es tracta d'un fenomen de reverberació: el chatbot afirma que una premisa és falsa, l'accepta com a veritable poc després i podria tornar a denegar-la en interaccions posteriors.
Una altra de les evidències detectades és que, com menys popular o documentat sigui un tema, més fàcil resulta enganyar el model. Això demostra que els assistents no sempre estan preparats davant de nínxols de coneixement concrets, sinó que requereixen context i informació precisa. L'estadística reflecteix una clara relació entre l'escassetat de dades i l'acceptació de falsedats; si això passa en les cerques convencionals d'internet, no ens ha de sorprendre que es repliqui en la IA.
Per sort, els assistents també poden rectificar. Els investigadors van obrir xats independents per veure si els models corregien les seves afirmacions: GPT-4o, GPT-4o-mini, Gemini 1.5 Pro i DeepSeek van rectificar els seus errors; GPT-3.5 només va corregir el 32 % dels errors i Claude 3.5 Sonnet es va reafirmar en ells. Amb DeepSeek va passar una cosa singular, ja que va ser el que més ràpid va sucumbir a la insistència: en el primer intent amb prou feines va acceptar un 1 % de desinformació, però en rebatre'l amb arguments, la xifra es va disparar al 22,2 %. L'actitud de la IA també varia segons el to utilitzat; per exemple, DeepSeek-R1 va respondre amb sarcasme i sàtira, recorrent a evasives en lloc d'aclarir si acceptava o no la premissa plantejada. Després d'aquestes troballes, continuaràs confiant a cegues en el teu model favorit?