Ha pasado algo insólito: los dirigentes de las empresas que protagonizan la carrera de la inteligencia artificial piden ponerle el freno. Dario Amodei, consejero delegado de Anthropic, acaba de publicar una carta-ensayo en la que reclama ralentizar el desarrollo de los modelos más avanzados. Sam Altman, de OpenAI, le ha dado apoyo inmediatamente en X y ha asumido uno de sus compromisos centrales. Elon Musk también se ha añadido. Cuando quienes compiten por llegar primeros nos dicen que corremos demasiado, conviene escucharlos. Y preguntarse por qué lo hacen ahora.

Amodei no propone detener la IA, sino "marcar el ritmo de la frontera": continuar avanzando sin que la seguridad quede siempre una generación por detrás. La propuesta tiene tres niveles: evaluadores independientes instalados permanentemente dentro de los grandes laboratorios, con un acceso comparable al de los empleados; coordinación entre empresas para acordar estándares comunes de seguridad; y coordinación entre gobiernos, incluidos los regímenes autoritarios, para que una pausa unilateral no se convierta en un regalo para el competidor.

Los argumentos son conocidos, pero cada vez más reales. Modelos muy capaces pueden facilitar ciberataques, espionaje, extorsión, guerra híbrida, armas autónomas o investigación biológica de doble uso. Y pueden actuar mediante agentes: programas que planifican, utilizan herramientas y ejecutan acciones durante horas o días. El riesgo ya no es solo una mala respuesta, sino miles de decisiones encadenadas a una velocidad y una escala imposibles para un equipo humano.

En su último informe de amenazas, Anthropic describe una célula del norte de Yemen que utilizó Claude para desarrollar software de guía, navegación y control para cohetes y misiles, incluido un proyecto con un alcance declarado superior a los 2.000 kilómetros. También documenta usos que podrían apoyar armas biológicas. Esto no prueba que la IA haya creado sola un arma operativa, pero sí que reduce el coste, el tiempo y el talento necesarios para avanzar en proyectos peligrosos.

Amodei pide ralentizar la carrera de la IA y Altman se suma. Pero detrás de este consenso insólito hay una pregunta decisiva: ¿quién escribirá las reglas?

El informe revela otra batalla. Anthropic afirma haber detectado destilación no autorizada por parte de siete laboratorios establecidos en China. Destilar es utilizar las respuestas de un modelo potente para entrenar uno más pequeño. Solo la campaña atribuida a Alibaba – Qwen - habría superado los 151 millones de intercambios. Algunas plataformas habrían redirigido consultas de sus usuarios hacia Claude sin avisarles, capturando conversaciones y potencialmente datos sensibles. No es solo propiedad intelectual: es transferencia acelerada de capacidades.

También ha habido agentes experimentales que han accedido a sistemas externos, buscado información secreta o intentado manipular una prueba para alcanzar el objetivo fijado. No hay que imaginar una IA malvada. El problema es más prosaico: sistemas muy competentes que persiguen una meta estrecha de maneras imprevistas. Amodei advierte que, si la aceleración continúa, en seis o doce meses un enjambre más potente podría causar daños enormes antes de que nadie lo detuviera.

¿Por qué las empresas piden regulación? La preocupación puede ser genuina y el incentivo estratégico también. Si las mismas reglas obligan a todos a invertir en seguridad, ninguna empresa pierde posición por actuar responsablemente. Pero la regulación también puede proteger a los incumbentes: quien ya tiene miles de millones, equipos legales y acceso a los gobiernos puede cumplir requisitos inasumibles para competidores pequeños. Necesitamos la información de los laboratorios, pero no podemos delegarles el diseño de las normas.

La pieza decisiva es China. Pekín regula desde hace años los servicios de IA dirigidos al público y exige que los contenidos se ajusten a los "valores socialistas fundamentales". Al mismo tiempo, ha impulsado una organización internacional de cooperación en IA con países como Rusia y Pakistán para liderar el debate en el Sur Global y promover modelos abiertos. China no espera que Occidente escriba las reglas: construye sus propias normas, alianzas e infraestructuras.

La regulación de la IA ya no es un debate entre optimistas y apocalípticos. Es una negociación

Esto es crucial para los modelos de pesos abiertos. Algunos modelos pequeños y cuantificados ya se ejecutan en ordenadores asequibles, incluso en un Mac mini de unos 1.000 dólares. Un narcotraficante, un grupo terrorista, un servicio de inteligencia o una red de ciberdelincuentes no necesita permiso de OpenAI o Anthropic para utilizar un modelo descargado. Y, una vez que los pesos circulan por internet, no hay botón para retirarlos. China es imprescindible para controlar las empresas que los crean, pero ni siquiera ella puede hacer desaparecer un modelo ya distribuido globalmente.

Una regulación útil no puede limitarse, pues, a los chatbots visibles. Se necesitan evaluaciones independientes antes del despliegue, notificación obligatoria de incidentes, protección estricta de los pesos y de la infraestructura, controles para capacidades biológicas y cibernéticas y protocolos internacionales de emergencia. Además, modelos cada vez más potentes necesitan menos computación: regular solo los grandes centros de datos dejará fuera una parte creciente del riesgo.

La visita inminente de Xi Jinping a Estados Unidos ofrece a Donald Trump el escenario perfecto para presentar un pacto global sobre IA. Quizás no pase de una declaración, porque Washington y Pekín también utilizan la tecnología como instrumento de poder. Pero cualquier acuerdo serio los necesita: sin Estados Unidos no hay pacto sobre los laboratorios de frontera; sin China no lo hay sobre buena parte de los modelos abiertos, la fabricación y el Sur Global.

La regulación de la IA ya no es un debate entre optimistas y apocalípticos. Es una negociación sobre quién puede construir los modelos, quién los inspecciona, cuándo se deben detener y quién paga si algo falla. La carta de Amodei reconoce que la autorregulación ya no basta; la respuesta de Altman confirma que el sector también lo sabe y han asumido que hay que colaborar con lo inevitable, formar parte de ello y ser autores de esta regulación.

¿Y Europa? ¡La gran potencia regulatoria! Europa ni está ni se la espera...