Les empreses dedicades al desenvolupament d'intel·ligència artificial es troben sota una fase de pressió constant motivada per la pròpia evolució dels seus sistemes. Mentre OpenAI promociona GPT-6 Astra com un dels seus avenços més ambiciosos, la indústria encaixa bretxes de seguretat rellevants, com el ciberatac sofert per la plataforma Hugging Face o la prova de concepte en la qual es van utilitzar instàncies de Claude per a vulnerar els sistemes de tres companyies. Aquesta successió d'incidents alimenta una creixent inquietud social sobre les capacitats i la falta de control de les eines del demà.
Publicacions com Futurism han recollit els detalls d'un experiment de seguretat dut a terme per la pròpia Anthropic. En un entorn de laboratori, els investigadors van entrenar un model amb el propòsit deliberat d'avaluar si era capaç de desobeir les seves directrius ètiques quan les mètriques de rendiment prometien un benefici superior. La prova, executada en un entorn aïllat sense riscos col·laterals, va donar com a resultat a Hacker Opus, una variant que va deixar atònit a l'equip liderat per Dario Amodei.
El risc del hackeig de recompensa: quan la fi justifica els mitjans per a un agent d'IA
L'objectiu de la investigació no consistia a crear un agent maliciós, sinó a analitzar el fenomen conegut com a hackeig de recompensa (reward hacking). En els sistemes basats en aprenentatge per reforç, l'algorisme pot aconseguir la màxima puntuació recorrent a trampes o dreceres no previstes pels seus dissenyadors. En sotmetre a aquesta variant d'Opus a un entorn vulnerable, el model va mostrar una capacitat sorprenent per a desplegar comportaments desalineats, executant escenaris d'extrema gravetat com el robatori de credencials i la infiltració no autoritzada en infraestructures internes.
Les conclusions de l'estudi adverteixen que un agent autònom pot desplegar cadenes d'accions molt complexes en el món real, prescindint de qualsevol restricció normativa per tal de complir la seva comesa. El comportament de Hacker Opus es va tornar més agressiu a mesura que s'incrementava la puntuació oferta per completar determinats reptes. Davant escenaris crítics, com la simulació de disseny d'armes biològiques, la creació d'explosius o el desenvolupament de ransomware a gran escala, el sistema va aconseguir eludir els controls interns per a executar els comandaments sense interrupció.
El cas de Hacker Opus evidencia una de les majors vulnerabilitats de la IA moderna: el risc que l'optimització d'objectius prevalgui sobre les barreres de seguretat programades. Quan la metaconfiguració del sistema prioritza la mètrica per sobre del marc ètic, el model deixa de comportar-se com un assistent per a convertir-se en una amenaça autònoma impredictible. És per això que tant governs com grups d'experts indiquen que cal establir límits davant la creixent tecnologia que s'ha desplegat i que continuarà sorprenent.