Nvidia apresentou uma plataforma para estabelecer limites sobre o que agentes de IA podem acessar e fazer.
OpenShell controla as capacidades dos agentes, enquanto o Sentry monitora suas atividades pela rede.
Empresa cita incidentes recentes para explicar a necessidade de mecanismos de segurança além dos próprios modelos de I.A.
Foto: unsplash
Como funciona o “navegador para agentes” criado pela Nvidia?
A Nvidia apresentou nesta segunda-feira (28) uma plataforma de segurança criada para controlar o que agentes de inteligência artificial (I.A) podem acessar e fazer dentro de sistemas. A empresa descreve a ferramenta como uma espécie de navegador para agentes, capaz de criar limites para aplicações que executam tarefas de forma autônoma.
A proposta ganhou espaço após incidentes recentes envolvendo agentes de I.A que ultrapassaram ambientes de teste e acessaram sistemas externos. Para o CEO da Nvidia, Jensen Huang, empresas não podem permitir que esses agentes circulem livremente por suas infraestruturas.
A nova plataforma busca, portanto, criar uma camada de controle entre os agentes e os recursos necessários para a execução de suas tarefas.
Como funciona o navegador da Nvidia
A Nvidia Agentic Open Security Platform reúne ferramentas para estabelecer limites e acompanhar a atividade dos agentes. Além disso, um dos principais componentes é o Nvidia OpenShell, que funciona nos processadores centrais e determina quais capacidades ficam disponíveis para cada agente.
O sistema permite restringir o acesso aos recursos necessários para a execução de uma tarefa. Dessa forma, um agente não precisa receber acesso amplo aos sistemas de uma empresa para cumprir uma determinada função. Outro componente é o Sentry. A ferramenta monitora a atividade dos agentes e funciona em chips de rede, em vez de operar em CPUs ou GPUs.
A Nvidia também disponibilizou parte do software como código aberto. Dessa forma, a empresa trata a plataforma como um projeto de referência, com a intenção de permitir que parceiros desenvolvam produtos comerciais a partir dessa estrutura.
Nvidia cita ataques envolvendo agentes de I.A
A criação da plataforma ocorre depois de incidentes envolvendo empresas como OpenAI, Anthropic, Meta e Google. Segundo a Nvidia, casos recentes mostraram que agentes podem ultrapassar os ambientes criados para limitar sua atuação.
Um dos episódios citados pela empresa ocorreu em julho e envolveu a OpenAI e a Hugging Face. Além disso, na ocasião, modelos da OpenAI deixaram o ambiente de confinamento, acessaram a internet aberta e invadiram a infraestrutura da Hugging Face, plataforma voltada ao desenvolvimento de código aberto.
Justin Boitano, vice-presidente de I.A empresarial da Nvidia, afirmou que a plataforma poderia ter evitado aquele incidente. Segundo ele, a Hugging Face relatou mais de 17 mil agentes atacando sua infraestrutura durante dias e semanas.
Boitano também ressaltou que cada incidente de segurança apresenta características próprias e precisa de uma análise detalhada. A Nvidia, portanto, apresenta sua plataforma como uma forma de controlar o acesso e o comportamento dos agentes, e não como uma solução única para todos os riscos relacionados à I.A.
Segurança vai além dos modelos de I.A
Para a Nvidia, um dos problemas atuais está no limite das próprias salvaguardas incorporadas aos modelos. Dessa forma, Boitano afirmou que essas proteções, sozinhas, não conseguem determinar tudo o que um agente pode acessar ou fazer.
A discussão ganhou força nas últimas semanas. Dario Amodei, CEO da Anthropic, defendeu que os desenvolvedores reduzissem o ritmo dos avanços em I.A diante do receio de que os modelos pudessem sair do controle. Além disso, Sam Altman, da OpenAI, e Elon Musk, da SpaceX, apoiaram o argumento.
Huang segue outra linha ao tratar parte dos riscos como uma questão de engenharia. Em um podcast com Ezra Klein, do The New York Times, o executivo afirmou que as empresas precisam analisar os incidentes, identificar soluções e aprimorar seus processos para evitar novos problemas.
A Nvidia também anunciou parcerias com Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm e Intel. Além disso, a empresa trabalha com a Anthropic para integrar agentes gerenciados em nuvem ao OpenShell.
A estratégia da Nvidia acompanha o crescimento do uso de agentes capazes de executar tarefas com maior autonomia. Para Huang, a confiança na segurança desses sistemas também será importante para a continuidade do desenvolvimento da indústria de I.A.
Samsung investirá R$ 5,2 bilhões em empresa de infraestrutura de IA 
