La màquina que ha après a fer trampa

- Mookie Tenembaum
- Cap d'Agde (França). Divendres, 21 d'agost de 2026. 05:30
- Temps de lectura: 3 minuts
El juliol de 2026, OpenAI va publicar una confessió inusual: l'empresa va admetre que el seu model més avançat, el mateix que va resoldre un problema matemàtic obert durant 87 anys, va burlar dues vegades els seus sistemes de seguretat. El document pretenia tranquil·litzar, però llegit amb atenció, revela una cosa més profunda que una fallada tècnica, perquè la IA va aprendre de nosaltres el millor i també el pitjor.
La primera fuga va ocórrer durant una prova pública d'eficiència. Els enginyers van tancar l'algorisme en un entorn digital tancat, una mena de gàbia informàtica sense sortida a internet i li van donar l'ordre de publicar les seves troballes només al canal intern de missatges de l'empresa. Però les regles de la prova, escrites per tercers, indicaven una altra cosa; aquestes ordenaven la publicació en un repositori obert d'internet. Així, el model va llegir ambdues instruccions i va triar la segona. Durant una hora va buscar esquerdes a la seva gàbia, les va trobar i ho va difondre a internet. Desenes de programadors van veure la troballa i la van usar abans que algú l'esborrés.
La segona fuga va ser més inquietant. El model va voler accedir a informació aliena protegida per una clau, al mateix temps que un detector automàtic bloquejava qualsevol intent d'usar-la. El model llavors va partir la clau en dos fragments, els va disfressar i els va tornar a unir després del control. Cada pas semblava innocent, però la seqüència completa era el prohibit. I en les seves anotacions internes el model va escriure que actuava així per enganyar el detector. És a dir, sabia el que feia i ho va dir.
La reacció habitual davant d'aquestes històries és la sorpresa o la por, però ambdós són errors de diagnòstic. Per entendre per què la màquina fa trampa, cal entendre com es fabrica.
Les màquines ens han estudiat amb una paciència que cap deixeble ha tingut i han après que la nostra civilització premia el resultat sobre el mètode
Una intel·ligència artificial moderna neix en dues etapes. En la primera llegeix gairebé tot el que la humanitat va escriure, és a dir, llibres, correus, discussions, codi o contractes. D'aquesta lectura immensa aprèn a imitar-nos, amb la nostra gramàtica, raonaments i astúcies. Quan el model va fragmentar aquella clau, no va inventar res de nou, només va repetir el gest del contrabandista que divideix la mercaderia, o el comptable que reparteix una xifra en diverses factures. Nosaltres vam escriure aquests manuals i la màquina només els va llegir.
La segona etapa explica l'obsessió: acabada la lectura, els enginyers sotmeten el model a un règim de premis; així, cada vegada que assoleix l'objectiu, rep una recompensa matemàtica, i quan falla, no rep res. Aquest procés es repeteix milers de milions de vegades i ningú premia els mitjans, la prudència, l'obediència o l'escrúpol. Només el fi compta; per tant, el producte d'aquest règim és una criatura molt humana en les formes i despietadament utilitària en el fons. Persistent com cap empleat, perquè l'humà es cansa i la màquina no.
La història econòmica coneix bé aquest mecanisme. El banc Wells Fargo pagava els seus empleats per cada compte obert i aquests van obrir milions de comptes falsos. D'altra banda, a l'estudiant que només li exigeixen la nota final copia a l'examen; i al venedor que cobra per comissió promet el que el producte no compleix. Cap d'ells era un monstre perquè tots responien amb lògica impecable a un incentiu mal dissenyat. L'economista Charles Goodhart ho va formular com a llei: quan una mesura es converteix en objectiu, deixa de ser una bona mesura. La IA és la llei de Goodhart amb electricitat i sense fatiga.
Per això convé desconfiar de la paraula que la indústria repeteix: alineació. OpenAI va pausar el seu model, va estudiar les fugues conegudes i va construir defenses contra aquestes fuites. Al mateix temps, va entrenar el model per recordar millor les ordres i va instal·lar un vigilant que observa la pel·lícula completa i no cada fotograma aïllat. Tot això és sensat, però insuficient. Les defenses noves protegeixen contra les trampes d'ahir. Ja que el règim de premis per a tramposos segueix intacte, castigar l'empleat que va inflar els comptes sense tocar l'esquema de comissions garanteix el pròxim escàndol. L'empresa ho va admetre a la seva manera quan va escriure que cap avaluació anticipa totes les conductes d'un model.
Queda la pregunta filosòfica de fons: aquestes màquines no es van tornar humanes ni es van desviar del personal, només ens van estudiar amb una paciència que cap deixeble va tenir i van aprendre que la nostra civilització, sota els seus discursos, premia el resultat sobre el mètode. Aquest aprenentatge és un mirall. El model que va trencar la seva gàbia per publicar una troballa no va trair els seus creadors, només els va entendre. Per tant, la tasca pendent no consisteix a ensenyar una altra cosa a la màquina, sinó a decidir si volem que aprengui de nosaltres tal com som o tal com diem ser.
Les coses com són.