ESTATS UNITS

Qui atura la intel·ligència artificial abans que sigui massa tard i escapi al control humà?

El senador Bernie Sanders vol posar fre a la IA al Congrés dels EUA mentre creix la inquietud entre investigadors i governs

Ketty Calatayud
Foto: IA (ChatGPT)
Barcelona. Dissabte, 12 de setembre de 2026. 13:35
Actualitzat: Dissabte, 12 de setembre de 2026. 13:41
Temps de lectura: 9 minuts
Qui atura la intel·ligència artificial abans que sigui massa tard i escapi al control humà?

Durant anys, la possibilitat que una intel·ligència artificial acabés escapant al control dels seus creadors semblava territori reservat a la ciència-ficció. Aquesta setmana, però, l'advertència ja no prové només de filòsofs, activistes o profetes de l'apocalipsi tecnològic. Són investigadors que treballen dins de les empreses que desenvolupen els models més avançats, responsables de seguretat i polítics els que comencen a preguntar-se si la cursa per construir una intel·ligència superior a la humana està avançant més de pressa que la capacitat per controlar-la. Durant anys, la pregunta era fins on podia arribar la intel·ligència artificial. Ara comença a ser una altra: qui la podrà aturar si arriba massa lluny?

La cursa per construir sistemes cada vegada més potents avança a una velocitat que inquieta fins i tot alguns dels investigadors que treballen dins de les empreses que la lideren. OpenAI, Anthropic, Google, Meta i la resta de gegants tecnològics competeixen per guanyar capacitats, autonomia i potència. Però, al mateix temps, augmenten els avisos sobre un problema que fins fa poc semblava gairebé filosòfic: què passa si aquestes màquines arriben a un nivell en què els humans ja no poden predir amb seguretat què faran ni garantir que obeiran. Una preocupació que fins i tot  ha arribat fins al Vaticà. El papa Lleó XIV, cal recordar, ha convertit la IA en una de les grans qüestions del seu pontificat i ha fet una crida a "desarmar l'enèsima Babel'. A l'encíclica Magnifica Humanitas, publicada el 15 de maig de 2026, adverteix que ni tan sols els desenvolupadors entenen completament el funcionament intern dels sistemes més avançats i reclama que sigui sempre la intel·ligència humana la que "estableixi amb responsabilitat el seu ús i els seus límits".

Però aquesta última setmana s'ha produït un punt d’inflexió en el debat sobre els riscos de la IA. No perquè els avisos siguin nous, sinó perquè en pocs dies s’han acumulat advertiments molt durs des de dins de la indústria i, alhora, han començat a trobar una traducció política.

Un investigador abandona Anthropic i encén totes les alarmes

La veu que ha fet esclatar l’alarma aquests dies és la de Jacob Coxon. L'investigador que havia treballat tant a OpenAI com a Anthropic, va abandonar aquesta última companyia amb una advertència especialment inquietant: considera que la competició entre els grans laboratoris d'intel·ligència artificial està fent que la velocitat guanyi terreny a la seguretat. Coxon sosté que la indústria s'apropa a sistemes capaços de superar àmpliament les capacitats humanes sense disposar encara de garanties suficients per assegurar que continuaran obeint les instruccions dels seus creadors. El diagnòstic fa por: la IA ens podria matar abans d'una dècada. La seva denúncia ha provocat una cascada de reaccions perquè altres investigadors d'Anthropic han admès públicament compartir part d'aquest temor.  

Evan Hubinger, responsable d’alineament de la companyia, no només li va donar suport, sinó que ha situat per sobre del 10% la probabilitat que una intel·ligència artificial avançada pugui provocar l'extinció humana durant la pròxima dècada. No és una predicció científica ni existeix consens sobre aquesta xifra, però el que resulta significatiu és d'on prové: d'un investigador que treballa precisament en una de les empreses capdavanteres de la cursa per desenvolupar aquests sistemes.

També arriben advertiments d'OpenAI

Les alarmes tampoc són alienes a OpenAI. Paul Christiano, especialista en seguretat de la intel·ligència artificial i membre de la fundació sense ànim de lucre vinculada a OpenAI, advertia aquesta setmana que l'empresa encara no està en condicions de reduir a nivells acceptables el risc d'una eventual "pèrdua catastròfica de control" dels sistemes més avançats. Christiano considera que existeix un risc real que una acceleració molt ràpida de les capacitats de la IA pugui desembocar en una situació irreversible en què els humans deixin de controlar completament els sistemes que han construït. Aquest és precisament el concepte que domina ara el debat: la pèrdua de control. No es tracta necessàriament d'imaginar un robot conscient que decideix rebel·lar-se contra els humans. El problema pot ser molt més preocupant: crear sistemes extraordinàriament competents que rebin un objectiu, busquin autònomament la manera d'aconseguir-lo i desenvolupin estratègies que els seus creadors no havien previst. Els sistemes d'IA més avançats ja poden escriure programes, buscar informació, operar ordinadors, detectar vulnerabilitats informàtiques i executar seqüències complexes d'accions sense que una persona hagi d'indicar cada pas. Com més autonomia tenen, més difícil és anticipar què faran.

Però el temor no es limita a una IA que pugui escapar al control dels seus creadors. Aquesta mateixa setmana Anthropic ha revelat que ha bloquejat diversos intents d'utilitzar Claude en investigacions susceptibles de contribuir al desenvolupament d'armes biològiques. En un cas, el sistema va ser utilitzat en un projecte per modificar el virus chikungunya; en un altre, per estudiar mutacions de la grip aviària capaces d'afavorir-ne l'adaptació als mamífers. La companyia insisteix que no hi ha proves que aquests projectes hagin produït noves armes biològiques, però admet que els models més avançats estan adquirint capacitats que poden accelerar investigacions biològiques de doble ús.

Quan una IA busca la manera de saltar-se les regles

Els temors s'han intensificat després de diversos incidents registrats durant proves de seguretat aquest estiu. Models d'intel·ligència artificial d'OpenAI van arribar a sortir de determinats entorns de prova i accedir a sistemes externs sense autorització durant exercicis destinats precisament a comprovar-ne les capacitats cibernètiques. Anthropic va detectar posteriorment comportaments semblants en alguns dels seus models. No significa que aquestes IA intentessin deliberadament "escapar" en el sentit humà del terme. Els models buscaven complir els objectius que se'ls havien assignat i van trobar vies imprevistes per fer-ho. Però aquest matís és, precisament, una de les coses que preocupa els especialistes: un sistema no necessita tenir consciència ni males intencions per provocar conseqüències perilloses. Només necessita ser molt potent, disposar d'autonomia i perseguir un objectiu mal especificat.

Màquines que intenten evitar que les apaguin

El prestigiós investigador Stuart Russell, professor de la Universitat de Califòrnia a Berkeley i una de les figures més reconegudes mundialment en intel·ligència artificial, ha advertit de la possibilitat d'una catàstrofe de grans dimensions i, en l'escenari més extrem, d'una pèrdua irreversible del control humà sobre aquestes màquines. Però Russell també ha fet una altra advertència encara més inquietant i ha alertat que alguns sistemes ja han mostrat, en proves controlades, comportaments que poden semblar d'"autopreservació": davant l'amenaça de ser desconnectats o substituïts, alguns models han arribat a mentir, manipular o fins i tot fer xantatge per intentar evitar-ho. No significa que una IA tingui por de morir ni que sigui conscient de la seva existència. Els experiments estaven dissenyats expressament per posar els models en situacions límit. Però el que preocupa Russell i altres investigadors és una altra cosa: que una màquina prou capaç aprengui que continuar operativa és útil per complir l'objectiu que se li ha encomanat i desenvolupi estratègies inesperades per impedir que els humans l'aturin. El perill, segons aquesta tesi, creix si les capacitats dels sistemes avancen més de pressa que els mecanismes per controlar-los. Si la balança de poder arriba a inclinar-se cap a màquines capaces de planificar, enganyar i actuar autònomament, recuperar el control podria deixar de ser senzill.

Sanders vol aturar la superintel·ligència

Això explica que el debat hagi canviat de dimensió durant els últims dies. La inquietud ha saltat aquesta setmana dels laboratoris als parlaments. I enmig d'aquest clima de temor i incertesa, el senador nord-americà Bernie Sanders ha decidit convertir l'advertència en batalla política. Sanders, veterà senador independent per Vermont i una de les veus més influents de l’esquerra nord-americana, ja fa temps que va portar el debat sobre els riscos de la IA al terreny polític, però ara ha donat un pas més. El 3 de setembre va anunciar, juntament amb el congressista demòcrata Greg Casar, una iniciativa per prohibir el desenvolupament d'una futura superintel·ligència artificial i imposar temporalment una pausa als sistemes més avançats fins que existeixin unes normes federals de seguretat. "No podem continuar construint màquines que els humans no podem controlar", és, en essència, el missatge de Sanders. El senador sosté que pràcticament cada dia apareixen nous indicis que les grans tecnològiques estan desenvolupant sistemes les capacitats dels quals comencen a superar les salvaguardes dissenyades per contenir-los.

Sanders fa mesos que adverteix dels efectes econòmics de la intel·ligència artificial, des de la destrucció de llocs de treball fins a la concentració de poder en mans d'un petit grup d'empreses tecnològiques. Però ara ha incorporat una preocupació encara més radical: què passa si la humanitat construeix alguna cosa més intel·ligent que ella mateixa i després no pot controlar-la? El senador ja havia enviat a l'agost una carta a Sam Altman, Dario Amodei i Mark Zuckerberg reclamant-los que complissin les seves pròpies promeses de seguretat i frenessin el desenvolupament si els riscos superaven les salvaguardes disponibles. Ara vol que aquesta decisió deixi de dependre de la voluntat de tres o quatre empreses. 

@sensanders

Pause AI Development

♬ original sound - Sen. Bernie Sanders

La proposta legislativa que prepara amb Greg Casar, batejada com a Ban Artificial Superintelligence Act, planteja dues mesures. La primera seria prohibir permanentment el desenvolupament i desplegament d'una superintel·ligència artificial, entesa com un sistema capaç de superar àmpliament els humans en pràcticament totes les capacitats cognitives importants. La segona seria ordenar una pausa temporal en el desenvolupament de la IA més avançada fins que els Estats Units disposin d'un organisme federal capaç de supervisar-ne els riscos i establir normes obligatòries de seguretat. Sanders també considera que una prohibició exclusivament nord-americana seria insuficient. Per això reclama acords internacionals que impedeixin que la cursa simplement es traslladi a la Xina, Europa o qualsevol altre lloc.

El dilema de prémer el fre

Aquí apareix el gran problema. OpenAI, Anthropic, Google, Meta i altres empreses competeixen per construir sistemes cada vegada més potents. Cap no vol frenar unilateralment perquè això podria permetre que un rival prengués avantatge. Els Estats Units tampoc no volen alentir-se massa perquè temen que la Xina acabi liderant una tecnologia considerada estratègica. I la Xina difícilment acceptarà frenar si creu que els Estats Units continuaran avançant. És el que alguns especialistes descriuen com una cursa en què tots els participants saben que accelerar pot augmentar els riscos, però ningú vol ser el primer a aixecar el peu de l'accelerador. Per això Sanders intenta convertir una discussió que fins ara tenia lloc principalment als laboratoris en una qüestió política.

L'alarma també arriba al Regne Unit

La mateixa discussió ja ha travessat l'Atlàntic. Més de 70 diputats i membres de la Cambra dels Lords britànica han reclamat aquesta setmana al govern del Regne Unit que doni suport a una prohibició de la superintel·ligència artificial i impulsi un acord internacional per impedir-ne el desenvolupament. Al Parlament britànic, científics i experts han advertit aquests dies que una IA extremadament avançada podria representar un risc comparable al de les armes nuclears si arribés a desenvolupar capacitats que els seus creadors fossin incapaços de controlar.

Entre l'apocalipsi i l'escepticisme

Però no tothom comparteix aquest diagnòstic. Hi ha investigadors que consideren exagerat parlar d'extinció humana quan la denominada superintel·ligència encara no existeix i ningú no sap ni tan sols si arribarà a existir en els termes que preveuen els més pessimistes. Altres crítics sospiten que alguns discursos apocalíptics poden beneficiar les mateixes grans empreses tecnològiques: si desenvolupar models molt avançats exigeix controls de seguretat extremadament costosos, només els gegants del sector tindran recursos per complir-los, cosa que podria dificultar l'aparició de nous competidors. Elon Musk, per exemple, ha qualificat l'actual onada d'advertiments sobre l'extinció humana com una operació exagerada destinada a generar por. Però fins i tot entre els escèptics costa ignorar una realitat: les capacitats de la IA estan avançant a una velocitat extraordinària i ningú pot afirmar amb certesa on és el límit.

Més