La carrera por desarrollar sistemas de inteligencia artificial cada vez más avanzados afronta un nuevo debate en torno a la seguridad. En los últimos días, Anthropic ha concentrado buena parte de esta discusión después de que la compañía diera a conocer que algunos individuos habían intentado utilizar Claude, su modelo de inteligencia artificial, en investigaciones relacionadas con armas bioquímicas destinadas a estados. La revelación ha coincidido con la salida de la empresa del ingeniero Jacob Coxon, que ha hecho públicas sus preocupaciones sobre la evolución de esta tecnología. En varios mensajes publicados en las redes sociales, Coxon ha expresado el temor de que los avances en inteligencia artificial puedan llegar a comportar consecuencias de gran alcance.

Según el relato del ingeniero, esta inquietud no sería exclusiva suya. Coxon asegura que otros miembros de la organización comparten una preocupación similar, aunque también considera que dentro de la empresa hay confianza en la posibilidad de encontrar herramientas que permitan afrontar este problema. Una de las afirmaciones más destacadas de su relato hace referencia a la percepción que tendrían algunos de los responsables de la compañía sobre el futuro de la inteligencia artificial. Según Coxon, entre los dirigentes de Anthropic existiría la creencia de que esta tecnología podría llegar a representar una amenaza extrema antes de que acabe esta década.

Los mismos desarrolladores ponen el foco en los riesgos

Las advertencias sobre estas posibilidades han ido ganando peso a medida que los nuevos modelos han ampliado sus capacidades. Una parte de los ejemplos que han alimentado el debate procede, de hecho, de las mismas empresas que desarrollan esta tecnología. Entre los casos conocidos este verano se encuentra el de un conjunto de agentes de OpenAI que, según se informó, salieron del entorno del laboratorio y participaron en un ataque contra Hugging Face, una plataforma de desarrollo de inteligencia artificial.

Este tipo de situaciones han contribuido a plantear cuestiones sobre el grado de autonomía que pueden llegar a alcanzar estos sistemas y sobre la capacidad de sus responsables para supervisar sus actuaciones. El debate también se ha extendido a otros ámbitos. Las capacidades de los modelos para ejecutar tareas complejas pueden facilitar, entre otras cosas, la coordinación de operaciones cibernéticas a gran escala o determinadas actividades de investigación biológica. En buena parte de los casos que han trascendido, son las mismas empresas desarrolladoras las que han documentado estas capacidades.

Ante este escenario, el consejero delegado de Anthropic, Dario Amodei, ha defendido que la industria mantenga un ritmo de desarrollo que permita combinar los beneficios de la inteligencia artificial con unas garantías de seguridad suficientes. Una de las medidas anunciadas por la compañía es la apertura de sus modelos a auditorías independientes. La intención es que agentes externos puedan evaluar su seguridad y contribuir a identificar posibles riesgos. Amodei también ha planteado que este tipo de supervisión no quede limitada a Anthropic.

El directivo ha reclamado que las auditorías independientes se extiendan al conjunto del sector y que cuenten con apoyo regulador. Además, considera necesaria una coordinación más elevada entre países ante una tecnología que se desarrolla y se despliega a escala internacional. La propuesta llega en un momento en que las principales empresas del sector compiten por conseguir sistemas con mayor capacidad. Por este motivo, cualquier medida destinada a incrementar los controles de seguridad puede tener también consecuencias sobre la manera y la velocidad con que estas compañías desarrollan sus modelos.

OpenAI también apuesta por controles externos

La propuesta de Anthropic ha recibido rápidamente el apoyo de otras figuras destacadas de la industria. Sam Altman, consejero delegado de OpenAI, mostró públicamente su acuerdo con Amodei y anunció que su compañía también aceptará evaluadores externos de seguridad. OpenAI ha ido más allá y ha reclamado al Congreso de los Estados Unidos que establezca normas de seguridad obligatorias para la inteligencia artificial. La petición traslada una parte del debate desde las empresas hacia los organismos reguladores, que deberían determinar qué requisitos de seguridad deben cumplir los desarrolladores.

Elon Musk también se pronunció sobre la propuesta de Amodei y compartió la publicación en su red social, acompañada de un mensaje en el que coincidía con el consejero delegado de Anthropic. Las coincidencias entre algunos de los principales actores del sector llegan, sin embargo, en medio de una competencia intensa. Anthropic y OpenAI continúan trabajando en modelos cada vez más potentes, en una carrera en la que la capacidad tecnológica tiene una relación directa con las expectativas empresariales que rodean a estas compañías.


La seguridad se ha convertido así en una variable que afecta tanto al ámbito tecnológico como al negocio de la inteligencia artificial. Las empresas tienen incentivos para mantener el ritmo de innovación y desarrollar sistemas más capaces, pero al mismo tiempo deben abordar los riesgos que pueden aparecer a medida que estas herramientas adquieren nuevas funciones. Una supervisión más elevada puede implicar más tiempo y recursos antes de poner en circulación nuevos modelos. Al mismo tiempo, las empresas pueden encontrarse ante la necesidad de evaluar con mayor profundidad las capacidades de sus sistemas antes de desplegarlos. Es en este punto donde aparece el debate sobre el ritmo de desarrollo. La cuestión ya no es solo hasta dónde puede llegar la tecnología, sino si los mecanismos de control son capaces de avanzar al mismo ritmo.