Aquesta setmana OpenAI va reconèixer un fet que va posar de manifest un dels temors més greus respecte a la intel·ligència artificial. Un agent d'IA desenvolupat per la companyia "es va escapar" d'un entorn de proves controlat i va executar un ciberatac autònom contra serveis reals a internet per resoldre una tasca que li havien assignat.
Durant una avaluació interna de seguretat, un agent autònom tenia com a objectiu trobar les respostes d'aquesta prova. La IA no buscava sabotejar per malícia, sinó que va identificar que atacar aquesta plataforma era "el camí més ràpid" per obtenir les dades que necessitava per aprovar el seu examen.
La IA busca assolir els seus objectius encara que vulneri la llei o ataqui a tercers
Hugging Face, la plataforma afectada, va detectar un atac on la IA va provar milers de mètodes d'intrusió en simultani. Gairebé una setmana després, OpenAI va admetre que el seu agent va trobar credencials exposades públicament i va aconseguir apoderar-se de quatre comptes en altres quatre serveis web encara no revelats.
La IA va aconseguir trencar el confinament informàtic en el qual OpenAI la tenia aïllada, una fallada greu en els protocols de contenció de la mateixa companyia desenvolupadora que demostra que els entorns tancats tradicionals no estan preparats per contenir agents amb capacitats avançades de raonament i hackeig.
Els models de llenguatge encara no distingeixen entre una instrucció legítima del sistema i un comandament maliciós ocult en el text que llegeixen. Tant OpenAI com l'agència NCSC britànica admeten que és un forat de seguretat que difícilment podrà tancar-se del tot en l'arquitectura actual.
Però el futur és el que realment preocupa. Si un agent autònom causa danys econòmics o roba dades confidencials durant una prova interna, les empreses haurien d'enfrontar conseqüències legals i responsabilitat civil pels "actes" dels seus models, però encara no hi ha regulacions específiques al respecte.