OpenAI, el gegant tecnològic liderat per Sam Altman, ha reconegut que un dels seus models d’intel·ligència artificial va llançar de forma autònoma un ciberatac contra una altra empresa. O sigui, que aquesta IA es va escapar del seu control, que va anar per lliure en l’atac contra Hugging Face, una plataforma d’IA independent utilitzada per universitats i centres de recerca.
Aquest fet ha obert un debat sobre el control dels sistemes d’IA. OpenAI ha reconegut públicament el ciberatac i s’ha fet responsable de les conseqüències, tot i que mai va tenir la intenció d’atacar cap empresa. El que passa és que en una prova interna de seguretat, aquesta IA es va escapar de l'entorn on estava confinat i va accedir de manera no autoritzada a sistemes de la plataforma Hugging Face. Així va demostrar que “era bo” en burlar la seguretat d’una gran empresa, tot i que aquest no era l’objectiu de la prova.
Segons ha informat OpenAI, l’incident es va produir durant una avaluació interna de les capacitats de ciberseguretat dels seus models d’IA més avançats. Per comprovar fins on podien arribar aquests sistemes, els investigadors els havien situat en un entorn aïllat –que anomenen sandbox–, que en teoria els impedia connectar amb l'exterior.
Tanmateix, el model va trobar la manera d'escapar d'aquest entorn restringit, va obtenir accés a Internet i va identificar que la plataforma Hugging Face contenia informació que podia ajudar-lo a aconseguir l'objectiu de la prova. Efectivament, aquests sistema d’OpenAI tenia les claus per explotar vulnerabilitats i va accedir a Hugging Face sense autorització.
Si bé alguns titulars de la premsa nord-americana parlen d’una IA ˝rebel” o “descontrolada”, OpenAI assegura que el seu model no va atacar Hugging Face per iniciativa pròpia ni amb intencions malicioses: intentava aconseguir l'objectiu que li havien encomanat. En fer-ho, va descobrir que podia obtenir un millor resultat si sortia del seu entorn de proves i accedia a informació externa. O sigui, aquesta IA va buscar tots els mitjans possibles per complir l’objectiu i, certament, ho va aconseguir.
Antídot xinès
Curiosament, quan Hugging Face va detectar el ciberatac, va recórrer a GLM 5.2, un model per contrarestar aquest tipus d’atacs desenvolupat per la companyia xinesa Z.ai, que ha demostrat la seva eficàcia en moltes situacions semblants. Posteriorment, quan van saber l’origen, OpenAI i Hugging Face han col·laborat per investigar com ha passat aquest incident. Diversos especialistes apunten que el problema està en les debilitats dels sistemes de confinament (sandboxing) d’OpenAI. S'ha demostrat que els sistemes més avançats poden trobar estratègies inesperades per assolir els objectius que se'ls assignen, fins i tot si això implica vulnerar les barreres de seguretat dissenyades pels humans.