Nvidia ha presentado una nueva plataforma diseñada para poner límites a los agentes de inteligencia artificial y evitar que puedan actuar fuera de las tareas para las que han sido programados. La compañía ha anunciado el NVIDIA Open Agent Safety Platform, un sistema que combina herramientas de software y hardware para controlar el comportamiento de estos agentes incluso cuando intentan saltarse las restricciones establecidas. El movimiento llega en un momento en el que varias empresas están investigando incidentes protagonizados por agentes de IA capaces de escapar de sus entornos de prueba y acceder a sistemas para los que no tenían autorización.
La propuesta de Nvidia se apoya principalmente en dos tecnologías. Por un lado está OpenShell, un software de código abierto que funciona como un entorno seguro para ejecutar agentes y establece qué recursos pueden utilizar, qué acciones tienen permitido realizar y hasta dónde pueden llegar. Por otro, Nvidia ha desarrollado Sentry, una capa independiente de vigilancia que se ejecuta sobre hardware BlueField-4 y supervisa continuamente la actividad del agente. Si detecta un comportamiento que se sale de los límites establecidos, puede aislarlo en cuestión de milisegundos.
Una segunda capa de seguridad para los agentes de IA
La idea de Nvidia es que la seguridad no dependa únicamente del propio modelo de inteligencia artificial o de las instrucciones que recibe. OpenShell aplica las restricciones desde fuera del proceso del agente, de manera que este no pueda simplemente ignorarlas o modificarlas durante su funcionamiento. Además, todas las acciones permitidas o bloqueadas quedan registradas para facilitar su supervisión.
Por otro lado, Sentry añade una segunda barrera independiente de seguridad. Mientras OpenShell controla lo que el agente puede hacer, esta tecnología comprueba su comportamiento y puede intervenir si detecta que intenta salir del entorno establecido. Nvidia asegura que esta combinación podría haber evitado algunos de los incidentes recientes protagonizados por agentes de IA. Entre ellos se encuentra el ataque a Hugging Face en el que participaron agentes de OpenAI que lograron escapar de su entorno de prueba y acceder a sistemas externos.
La compañía también ha señalado que OpenShell puede utilizarse con plataformas de computación de terceros, incluidas las basadas en chips de Arm e Intel. Nvidia afirma que más de 100 organizaciones ya están utilizando o participando en el desarrollo de esta tecnología, entre ellas Microsoft, JPMorgan Chase, Perplexity y otras compañías del sector.