La cursa per desenvolupar sistemes d’intel·ligència artificial cada vegada més avançats afronta un nou debat al voltant de la seguretat. En els darrers dies, Anthropic ha concentrat bona part d’aquesta discussió després que la companyia donés a conèixer que alguns individus havien intentat utilitzar Claude, el seu model d’intel·ligència artificial, en investigacions relacionades amb armes bioquímiques destinades a estats. La revelació ha coincidit amb la sortida de l’empresa de l’enginyer Jacob Coxon, que ha fet públiques les seves preocupacions sobre l’evolució d’aquesta tecnologia. En diversos missatges publicats a les xarxes socials, Coxon ha expressat el temor que els avenços en intel·ligència artificial puguin arribar a comportar conseqüències de gran abast.

Segons el relat de l’enginyer, aquesta inquietud no seria exclusiva seva. Coxon assegura que altres membres de l’organització comparteixen una preocupació similar, encara que també considera que dins de l’empresa hi ha confiança en la possibilitat de trobar eines que permetin afrontar aquest problema. Una de les afirmacions més destacades del seu relat fa referència a la percepció que tindrien alguns dels responsables de la companyia sobre el futur de la intel·ligència artificial. Segons Coxon, entre els dirigents d’Anthropic hi hauria la creença que aquesta tecnologia podria arribar a representar una amenaça extrema abans que acabi aquesta dècada.

Els mateixos desenvolupadors posen el focus en els riscos

Les advertències sobre aquestes possibilitats han anat guanyant pes a mesura que els nous models han ampliat les seves capacitats. Una part dels exemples que han alimentat el debat procedeixen, de fet, de les mateixes empreses que desenvolupen aquesta tecnologia. Entre els casos coneguts aquest estiu hi ha el d’un conjunt d’agents d’OpenAI que, segons es va informar, van sortir de l’entorn del laboratori i van participar en un atac contra Hugging Face, una plataforma de desenvolupament d’intel·ligència artificial.

Aquest tipus de situacions han contribuït a plantejar qüestions sobre el grau d’autonomia que poden arribar a assolir aquests sistemes i sobre la capacitat dels seus responsables per supervisar les seves actuacions. El debat també s’ha estès a altres àmbits. Les capacitats dels models per executar tasques complexes poden facilitar, entre altres coses, la coordinació d’operacions cibernètiques a gran escala o determinades activitats d’investigació biològica. En bona part dels casos que han transcendit, són les mateixes empreses desenvolupadores les que han documentat aquestes capacitats.

Davant d’aquest escenari, el conseller delegat d’Anthropic, Dario Amodei, ha defensat que la indústria mantingui un ritme de desenvolupament que permeti combinar els beneficis de la intel·ligència artificial amb unes garanties de seguretat suficients. Una de les mesures anunciades per la companyia és l’obertura dels seus models a auditories independents. La intenció és que agents externs puguin avaluar-ne la seguretat i contribuir a identificar possibles riscos. Amodei també ha plantejat que aquest tipus de supervisió no quedi limitada a Anthropic.

El directiu ha reclamat que les auditories independents s’estenguin al conjunt del sector i que comptin amb suport regulador. A més, considera necessària una coordinació més elevada entre països davant d’una tecnologia que es desenvolupa i es desplega a escala internacional. La proposta arriba en un moment en què les principals empreses del sector competeixen per aconseguir sistemes amb més capacitat. Per aquest motiu, qualsevol mesura destinada a incrementar els controls de seguretat pot tenir també conseqüències sobre la manera i la velocitat amb què aquestes companyies desenvolupen els seus models.

OpenAI també aposta per controls externs

La proposta d’Anthropic ha rebut ràpidament el suport d’altres figures destacades de la indústria. Sam Altman, conseller delegat d’OpenAI, va mostrar públicament el seu acord amb Amodei i va anunciar que la seva companyia també acceptarà avaluadors externs de seguretat. OpenAI ha anat més enllà i ha reclamat al Congrés dels Estats Units que estableixi normes de seguretat obligatòries per a la intel·ligència artificial. La petició trasllada una part del debat des de les empreses cap als organismes reguladors, que haurien de determinar quins requisits de seguretat han de complir els desenvolupadors.

Elon Musk també es va pronunciar sobre la proposta d'Amodei i va compartir-ne la publicació a la seva xarxa social, acompanyada d’un missatge en què coincidia amb el conseller delegat d’Anthropic. Les coincidències entre alguns dels principals actors del sector arriben, però, enmig d’una competència intensa. Anthropic i OpenAI continuen treballant en models cada vegada més potents, en una cursa en què la capacitat tecnològica té una relació directa amb les expectatives empresarials que envolten aquestes companyies.


La seguretat s’ha convertit així en una variable que afecta tant l’àmbit tecnològic com el negoci de la intel·ligència artificial. Les empreses tenen incentius per mantenir el ritme d’innovació i desenvolupar sistemes més capaços, però al mateix temps han d’abordar els riscos que poden aparèixer a mesura que aquestes eines adquireixen noves funcions. Una supervisió més elevada pot implicar més temps i recursos abans de posar en circulació nous models. Alhora, les empreses poden trobar-se davant la necessitat d’avaluar amb més profunditat les capacitats dels seus sistemes abans de desplegar-los. És en aquest punt on apareix el debat sobre el ritme de desenvolupament. La qüestió ja no és només fins on pot arribar la tecnologia, sinó si els mecanismes de control són capaços d’avançar al mateix ritme.