Nvidia ha presentat una nova plataforma dissenyada per posar límits als agents d'intel·ligència artificial i evitar que puguin actuar fora de les tasques per a les quals han estat programats. La companyia ha anunciat el NVIDIA Open Agent Safety Platform, un sistema que combina eines de programari i hardware per controlar el comportament d'aquests agents fins i tot quan intenten saltar-se les restriccions establertes. El moviment arriba en un moment en què diverses empreses estan investigant incidents protagonitzats per agents d'IA capaços de fugir dels seus entorns de prova i accedir a sistemes per als quals no tenien autorització.
La proposta de Nvidia es recolza principalment en dues tecnologies. D'una banda, hi ha OpenShell, un software de codi obert que funciona com un entorn segur per executar agents i estableix quins recursos poden utilitzar, quines accions tenen permès realitzar i fins on poden arribar. Per l'altre, Nvidia ha desenvolupat Sentry, una capa independent de vigilància que s'executa sobre hardware BlueField-4 i supervisa contínuament l'activitat de l'agent. Si detecta un comportament que se surt dels límits establerts, pot aïllar-lo en qüestió de mil·lisegons.
Una segona capa de seguretat per als agents d'IA
La idea de Nvidia és que la seguretat no depengui únicament del mateix model d'intel·ligència artificial o de les instruccions que rep. OpenShell aplica les restriccions des de fora del procés de l'agent, de manera que aquest no pugui simplement ignorar-les o modificar-les durant el seu funcionament. A més, totes les accions permeses o bloquejades queden registrades per facilitar la seva supervisió.
D'altra banda, Sentry afegeix una segona barrera independent de seguretat. Mentre OpenShell controla el que l'agent pot fer, aquesta tecnologia comprova el seu comportament i pot intervenir si detecta que intenta sortir de l'entorn establert. Nvidia assegura que aquesta combinació podria haver evitat alguns dels incidents recents protagonitzats per agents d'IA. Entre ells es troba l'atac a Hugging Face en el qual van participar agents d'OpenAI que van aconseguir fugir del seu entorn de prova i accedir a sistemes externs.
La companyia també ha assenyalat que OpenShell pot utilitzar-se amb plataformes de computació de tercers, incloses les basades en xips d'Arm i Intel. Nvidia afirma que més de 100 organitzacions ja utilitzen o participant en el desenvolupament d'aquesta tecnologia, entre elles Microsoft, JPMorgan Chase, Perplexity i altres companyies del sector.