La preocupación por los riesgos asociados a la carrera acelerada de la inteligencia artificial ha estallado de nuevo dentro del mismo sector. Jacob Coxon, investigador de Anthropic y antiguo trabajador de OpenAI, ha anunciado esta semana su dimisión después de denunciar que las principales empresas de IA están más pendientes de superarse entre ellas que de garantizar la seguridad de los modelos que desarrollan. Su advertencia ha tenido continuidad entre algunos de los nombres más destacados de la industria. El director ejecutivo y cofundador de Anthropic, Dario Amodei, ha reclamado este sábado una desaceleración en el ritmo con que avanzan las capacidades de los sistemas de IA y ha alertado de que la tecnología se acerca a una dinámica de "automejora recursiva" capaz de amplificar los riesgos de manera muy rápida. Entre los escenarios que más le preocupan está la posibilidad de que esta evolución desemboque en catástrofes de ciberseguridad si el desarrollo sigue avanzando sin suficientes controles.
Amodei ha concretado la alerta en un escenario que sitúa a muy corto plazo. En un extenso ensayo publicado en su página web, el cofundador de Anthropic advierte de que, si la evolución actual se mantiene, en un plazo de entre seis y doce meses un "enjambre" de agentes de IA podría llegar a controlar una parte sustancial de internet mediante una red persistente de bots y provocar daños económicos de cientos de miles de millones de dólares. Como ejemplo de los riesgos, ha citado un incidente con agentes de OpenAI y Hugging Face que, según explica, actuaron de manera descontrolada, atacando objetivos que no formaban parte de la tarea asignada, sacrificándose por el resultado del grupo e intentando comprometer el sistema encargado de evaluarlos. Ante este escenario, Amodei reclama "reducir el ritmo" al que mejoran las capacidades de los modelos y anteponer la cautela y la seguridad a los incentivos comerciales, para evitar que la competencia entre empresas acabe convirtiéndose en una "carrera hacia el abismo".
Sam Altman, director ejecutivo de OpenAI y una de las figuras más influyentes del sector, se ha alineado con la advertencia de Amodei y ha defendido que hay que poner límites al ritmo de los avances en la frontera tecnológica. "Estoy de acuerdo con Dario en que debemos regular el ritmo de los avances", ha afirmado, señalando que esta cuestión ha estado en el centro de las conversaciones internas de OpenAI durante las últimas semanas. Altman también ha avalado la propuesta de incorporar evaluadores independientes con un nivel de acceso equivalente al de los empleados de las propias empresas para examinar los modelos y los riesgos asociados. En este sentido, ha avanzado que OpenAI adoptará un mecanismo similar y que próximamente dará más detalles sobre cómo piensa aplicarlo.
I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks.
— Sam Altman (@sama) September 12, 2026
Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon. https://t.co/1YhhIybZX7
La hoja de ruta de Amodei
En su ensayo, Amodei ha propuesto una estrategia en tres fases para frenar los riesgos derivados de la IA sin renunciar, según defiende, a la ventaja tecnológica ante regímenes autoritarios como China. El primer paso pasa por abrir los procesos internos a una supervisión externa mucho más exigente. Anthropic se ha comprometido de manera unilateral e inmediata a permitir el acceso de evaluadores independientes a sus instalaciones con unas condiciones equiparables a las de los propios trabajadores de la empresa, de manera que puedan auditar los procesos de entrenamiento de los modelos y hacer públicas sus conclusiones. Amodei ha reclamado que el resto de competidores adopten medidas parecidas y, de momento, OpenAI ya ha accedido a hacerlo.
La segunda fase del plan exige la coordinación de las principales empresas para que acuerden estándares de seguridad compartidos en el sector y mecanismos que limiten una aceleración descontrolada de las capacidades de los modelos. Amodei plantea que este proceso cuente con mediación institucional y, si es necesario, con excepciones específicas a las normas antimonopolio para facilitar la cooperación entre competidores. También propone reforzar el control de las cadenas de suministro de semiconductores para evitar transferencias tecnológicas hacia China. En una tercera etapa, la estrategia apunta a acuerdos internacionales con potencias autoritarias que permitan establecer límites verificables, entre los que la prohibición de aplicaciones biológicas con fines militares y restricciones sobre la velocidad con la que los sistemas de IA pueden mejorarse a sí mismos.