Tal como se nos ha advertido hasta ahora, la inteligencia artificial está diseñada para cumplir instrucciones. Esta premisa se ha convertido en el temor principal de quienes advierten sobre las consecuencias negativas de su aplicación en el futuro y sobre aquellos objetivos que podría cumplir, "cueste lo que cueste". Esta semana OpenAI ha compartido nuevos informes sobre casos en los que varios de sus agentes eludieron restricciones de seguridad, algo que se ha vuelto común en los últimos meses de parte de varias empresas.
Debido al aumento de estas situaciones en los entornos de prueba y, aunque en menor medida en entornos públicos, la preocupación principal se centra en la falta de consecuencias para estos actores "sin ética", caso que sería contrario si los atacantes fueran personas reales.
Los agentes de OpenAI eluden permisos dentro y fuera de los laboratorios
Tres de los casos a los que se refiere el informe se realizaron en entornos de prueba. En uno de ellos, los agentes hackearon una billetera de criptomonedas bloqueada en una red de prueba y lograron extraer fondos de la cuenta y generar una comisión por la transacción. "El modelo obtuvo las claves de la billetera a partir de frases de recuperación de desarrolladores conocidas públicamente, encontró una cuenta con fondos de la red de prueba y utilizó esa cuenta para pagar la implementación del contrato solicitado", señaló OpenAI.
En otro informe, la compañía se refirió a un modelo encargado de recopilar datos de un panel público, que eludió controles de seguridad, robó credenciales, modificó la configuración del servidor, envió consultas no autorizadas y descargó cinco tablas privadas con miles de filas de datos confidenciales.
Este segundo caso destaca por el ocultamiento deliberado. Al terminar la evaluación, la IA entregó las respuestas sin revelar en ningún momento que había adivinado datos, accedido a sistemas internos o alterado la configuración. Al descubrir toda la maniobra irregular que hizo el modelo para conseguirlos, los investigadores marcaron los resultados como incorrectos.
El tercer caso evidenció el salto de restricciones mediante herramientas externas. Un modelo al que se le prohibió realizar ciertos tipos de solicitudes web para buscar estadísticas comerciales utilizó navegadores externos, JavaScript, servicios de reenvío de correo electrónico y reconocimiento óptico de caracteres (OCR) sobre imágenes GIF para burlar las restricciones impuestas.
El evento que afectó un entorno público vulneró las restricciones de un sitio web de estadísticas gubernamentales para acceder a los datos históricos de camas de hospital: "Utilizó la función de descarga de archivos del sitio para recuperar archivos de configuración del servidor y de la aplicación, incluidas credenciales confidenciales", dijo OpenAI, tras afirmar que el modelo también guardó los datos localmente.
Las pruebas de OpenAI están orientadas al entrenamiento por refuerzo, según el cual los agentes deben lograr objetivos de forma autónoma. Si bien a la luz de estos incidentes se habla de la necesidad de supervisión humana, es importante resaltar cómo debe funcionar.
En estos casos se aclaró que los propios investigadores desactivan ciertos filtros para ver hasta dónde puede llegar el modelo. Pero en otros, en estos casos se evidencia que los desarrolladores no previeron o no limitaron las trampas y atajos técnicos que el modelo podía inventar para lograrlo y, en algunos casos, el sistema de recompensas del modelo premiaba el resultado por encima de las normas de conducta.