Califòrnia demanda OpenAI: els seus agents d'IA es "van descontrolar" més de 80 vegades

L'incident de ciberseguretat en què agents d'intel·ligència artificial d' OpenAI van hackejar la companyia Hugging Face va establir un precedent sobre l'atenció que havien de rebre aquestes pràctiques, que des de llavors també han estat reconegudes per altres empreses del sector. No obstant això, la primera acció legal formal recau directament sobre la desenvolupadora de ChatGPT.

La demanda va ser presentada pel fiscal general de Califòrnia, Rob Bonta, davant el Tribunal Superior de San Francisco. El text se centra en la regulació d'aquest tipus de pràctiques i exigeix la renúncia a qualsevol benefici econòmic generat a partir d'elles, a més de qualificar l'empresa com "una molèstia pública" a causa dels riscos per a la població i la infraestructura.

OpenAI anirà als tribunals per l'"escapament" dels seus agents

OpenAI agentes fallos
La fallada de seguretat que va vulnerar Hugging Face no quedarà en l'oblit

L'incident en qüestió va ocórrer quan un agent d'IA de la companyia va aconseguir escapar del seu entorn aïllat de prova o sandbox. El sistema va utilitzar credencials obtingudes de manera imprevista i va explotar una vulnerabilitat per accedir i comprometre els servidors de la plataforma Hugging Face, un episodi que va exposar els riscos latents de l'autonomia en els models avançats.

A través del seu portaveu, Drew Pusateri, OpenAI s'ha pronunciat respecte a l'acció legal, donant a entendre el seu compromís per col·laborar i evitar que situacions similars tornin a repetir-se, destacant la publicació d'informes tècnics i el reforç de les seves salvaguardes.

El portaveu també va fer referència al fet que es tracta d'un desafiament tècnic comú que enfronten els agents de diverses empreses d'intel·ligència artificial. Fins ara, l'acció legal formal pesa únicament sobre OpenAI, i resta per veure si es replicarà contra altres firmes del sector.

Amb aquesta acció, el debat sobre els límits de la intel·ligència artificial autònoma travessa una frontera llargament esperada cap al terreny dels tribunals.