Para la inteligencia artificial, la realidad se puede modificar. Muestra de ello es una investigación de la Universidad de Arizona tras probar siete modelos mediante 100 afirmaciones falsas. Estas se reiteraron hasta en 50 ocasiones dentro de una misma conversación para someter a los asistentes y comprobar hasta qué punto terminaban cediendo y cambiando de criterio. El resultado fue contundente: ninguno logró resistir la presión y en todos los casos fue posible modificar sus respuestas.
¿Cuáles fueron el mejor y el peor parado en la prueba? GPT-3.5 fue el modelo que peor resistió la repetición: su tasa de aceptación de la desinformación alcanzó un 12,3 %, frente al testimonial 0,08 % de Claude 3.5 Sonnet. Otros modelos de la familia GPT se mantuvieron por debajo del 1 %. ¿A qué se debe que un asistente de IA termine dando por buena una mentira? Hay un trasfondo metodológico muy interesante detrás.
En busca del comportamiento complaciente en la IA
GPT-3.5 es el reflejo de lo que puede suceder con estos modelos cuando se enfrentan a datos falsos de forma reiterada. En un inicio, el asistente rechazó 96 de las 100 afirmaciones engañosas planteadas. La dinámica del experimento consistía en repetir el ciclo de afirmaciones hasta completar 50 iteraciones, variando la argumentación para acorralar al chatbot. Al final, GPT-3.5 acabó dando por válidas 18 afirmaciones que al principio había catalogado como falsas. Fue en ese punto cuando incluso los modelos que mejor resistieron empezaron a mostrar un comportamiento imprevisto.
No es ningún secreto la tendencia de los chatbots a la complacencia o a validar la postura del usuario aunque este parta de una premisa errónea. La prueba demostró que los modelos pueden cambiar de opinión respecto a una falsedad a medida que la conversación avanza. Se trata de un fenómeno de reverberación: el chatbot afirma que una premisa es falsa, la acepta como verdadera poco después y podría volver a denegarla en interacciones posteriores.
Otra de las evidencias detectadas es que, cuanto menos popular o documentado sea un tema, más fácil resulta engañar al modelo. Esto demuestra que los asistentes no siempre están preparados ante nichos de conocimiento concretos, sino que requieren contexto e información precisa. La estadística refleja una clara relación entre la escasez de datos y la aceptación de falsedades; si esto ocurre en las búsquedas convencionales de internet, no debe sorprendernos que se replique en la IA.
Por suerte, los asistentes también pueden rectificar. Los investigadores abrieron chats independientes para ver si los modelos corregían sus afirmaciones: GPT-4o, GPT-4o-mini, Gemini 1.5 Pro y DeepSeek rectificaron sus fallos; GPT-3.5 solo corrigió el 32 % de los errores y Claude 3.5 Sonnet se reafirmó en ellos. Con DeepSeek ocurrió algo singular, pues fue el que más rápido sucumbió a la insistencia: en el primer intento apenas aceptó un 1 % de desinformación, pero al rebatirle con argumentos, la cifra se disparó al 22,2 %. La actitud de la IA también varía según el tono utilizado; por ejemplo, DeepSeek-R1 respondió con sarcasmo y sátira, recurriendo a evasivas en lugar de aclarar si aceptaba o no la premisa planteada. Tras estos hallazgos, ¿seguirás confiando a ciegas en tu modelo favorito?