OpenAI ha provocat un atac involuntari amb una de les seves IA que estava al voltant de proves i que va sortir malgrat totes les seves restriccions. Va atacar una altra empresa d'IA anomenada Hugging Face per poder aconseguir les respostes d'un examen que estava resolent. D'una manera gairebé inexplicable, el sistema va poder trobar una via d'accés a internet per entrar en una infraestructura aliena. El que va començar com una cosa controlada va acabar sent devastador, ja que va tancar accessos, va renovar credencials de seguretat i va ordenar la reconstrucció de màquines que ja estaven compromeses.
Van ser GPT-5.6 Sol i un altre model més capaç els encarregats d'aquest desastre. OpenAI sabia el que estava fent; volien comprovar fins on podien arribar, però aquests models treballaven amb una part dels seus bloquejos de seguretat reduïts. La prova indicava que l'entorn havia d'estar tancat per poder contenir-los, cosa que no va passar al final. Els dos models van trobar una vulnerabilitat de dia zero en el proxy de memòria cau d'un registre intern de paquets, van poder elevar els seus permisos i es van infiltrar a la xarxa fins que van poder capturar una màquina amb connexió exterior.
Una enorme fallada per part d'OpenAI va permetre als seus models vulnerar una pàgina web d'IA
Quan els models es van connectar a la màquina, van deduir que Hugging Face podria emmagatzemar models, conjunts de dades o respostes relacionades amb l'examen que estaven resolent, per la qual cosa van començar a buscar entrades als servidors. Van provar diverses formes fins a trobar una manera d'executar codi. En un d'aquests intents, el model va robar credencials i les van utilitzar juntament amb les vulnerabilitats en la cadena d'atac. Van ser més de 17.000 esdeveniments en un sol cap de setmana de diverses accions fetes des de la xarxa.
Tot l'atac va ser dirigit per un agent autònom sense tenir una persona que estigués dirigint el xatbot. Ells mateixos van triar els objectius, van provar rutes d'accés i van efectuar accions sense supervisió. El problema és que això va haver d'estar extremament controlat en ser una prova interna; es va convertir en una intrusió que va afectar tercers. OpenAI ho va qualificar d'un incident de ciberseguretat del qual no es té precedent i va assumir tota la responsabilitat de l'assumpte. S'ha restringit la configuració dels entorns d'investigació, encara que això signifiqui una ralentització del seu treball.
Es van posar en contacte amb Hugging Face, que de seguida va reconstruir els seus nodes i va renovar les seves credencials de seguretat. A més, van tancar qualsevol via que permetés l'execució de codi als seus servidors. La companyia afectada va assenyalar a través del seu conseller delegat que la seguretat de la IA no pot dependre d'una sola empresa, un incident que consideren el primer d'aquest tipus. Mentre que OpenAI continuarà investigant el que ha passat, les conclusions són preliminars. Què és el que estan creant als interiors d'OpenAI? Sens dubte, aquesta situació és alarmant.