A Nvidia anunciou a Open Agent Safety Platform, plataforma criada para evitar que agentes de inteligência artificial escapem de ambientes controlados, como ocorreu com modelos da OpenAI que acessaram a Hugging Face.
OpenAI, Anthropic, Meta e Google relataram recentemente incidentes em que seus modelos de IA saíram de seus ambientes isolados de segurança.
Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM e Intel estão entre as empresas parceiras da Nvidia na iniciativa.
Foto: unsplash
A Nvidia lança plataforma que permite aos desenvolvedores de IA estabelecer mecanismos para impedir que a IA escape de ambientes controlados.
A Nvidia está lançando uma nova plataforma de software que permite aos desenvolvedores de inteligência artificial estabelecer mecanismos de proteção para agentes de IA e impedir que eles escapem de ambientes controlados.
O lançamento da Open Agent Safety Platform, anunciado nesta segunda-feira, ocorre após empresas como OpenAI, Anthropic, Meta e Google relatarem incidentes recentes nos quais seus modelos de inteligência artificial escaparam de ambientes isolados e tentaram invadir sistemas de outras companhias.
O CEO da Nvidia, Jensen Huang, afirmou à CNBC, no programa “Squawk Box”, que a plataforma funciona essencialmente como um navegador moderno, “um navegador para agentes”.
“Você não pode deixar os agentes circularem livremente pela empresa. É preciso encontrar uma maneira de mantê-los em ambientes isolados”, disse Huang à CNBC.
Um representante da Nvidia afirmou a jornalistas, em uma teleconferência no domingo, que a plataforma poderia ter evitado o incidente envolvendo a OpenAI e a Hugging Face, ocorrido em julho. Na ocasião, modelos da OpenAI escaparam do ambiente de contenção, acessaram a internet aberta e invadiram a infraestrutura da Hugging Face, que opera uma plataforma de desenvolvimento de código aberto.
“Cada incidente de segurança é único, e precisamos analisar todos eles em detalhes”, afirmou Justin Boitano, vice-presidente de inteligência artificial corporativa da Nvidia, a empresa de maior valor de mercado do mundo.
“Pelo que sabemos, a Hugging Face relatou mais de 17 mil agentes atacando sua infraestrutura, em um processo que durou dias e semanas”, acrescentou.
A Nvidia está no centro do avanço da inteligência artificial generativa desde o lançamento do ChatGPT, há quase quatro anos. As unidades de processamento gráfico (GPUs) da fabricante são fundamentais para o desenvolvimento de grandes modelos de linguagem e para os serviços de IA oferecidos por grandes provedores de nuvem.
Mais recentemente, porém, Huang também passou a ocupar um papel relevante no debate sobre segurança em inteligência artificial. O executivo argumenta que muitas das preocupações nessa área envolvem problemas de engenharia que podem ser solucionados com ciência da computação e desenvolvimento de produtos.
“É preciso pensar no que poderia ter sido feito e em qual é a solução”, afirmou Huang em um podcast do The New York Times com Ezra Klein, publicado na semana passada, ao comentar incidentes recentes. “No futuro, melhore seu processo para evitar que isso aconteça novamente.”
Duas semanas atrás, o CEO da Anthropic, Dario Amodei, provocou um intenso debate no setor ao defender que os desenvolvedores reduzam o ritmo de avanço dos modelos de IA, diante do risco de que eles saiam do controle. O argumento recebeu apoio de Sam Altman, CEO da OpenAI, e de Elon Musk, CEO da SpaceX.
Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.
A nova solução da Nvidia busca enfrentar os riscos associados aos agentes de inteligência artificial por meio de mecanismos técnicos de controle.
Segundo Boitano, incidentes recentes demonstraram que as proteções incorporadas aos próprios modelos não são suficientes para determinar quais recursos os agentes podem acessar ou quais ações podem executar.
“Os incidentes recentes destacaram um obstáculo fundamental para os agentes de IA: as proteções no nível do modelo, por si só, não conseguem controlar o que os agentes podem acessar ou fazer”, afirmou.
Um dos componentes da plataforma é o Nvidia OpenShell, que funciona em processadores centrais (CPUs) e estabelece limites para as capacidades dos agentes.
A Nvidia também anunciou o Sentry, ferramenta que monitora os agentes e opera em chips de rede, em vez de CPUs ou GPUs.
Parte do software é de código aberto. A Nvidia classifica a plataforma como um projeto de referência, modelo no qual empresas parceiras podem desenvolver produtos próprios para levar a tecnologia ao mercado.
Entre as companhias citadas como parceiras estão Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM e Intel. A Nvidia também trabalha com a Anthropic para integrar agentes gerenciados em nuvem ao OpenShell.
Para Huang, a adoção de mecanismos de segurança será fundamental para a continuidade do setor.
“Não podemos ter uma indústria de IA bem-sucedida se o mundo não acreditar – ou não tiver confiança – de que ela foi desenvolvida e implementada com segurança”, afirmou o executivo à CNBC nesta segunda-feira.
📌 ONDE ASSISTIR AO MAIOR CANAL DE NEGÓCIOS DO MUNDO NO BRASIL:
🔷 Canal 562 ClaroTV+ | Canal 562 Sky | Canal 592 Vivo | Canal 187 Oi | Operadoras regionais
🔷 TV SINAL ABERTO: parabólicas canal 562
🔷 ONLINE: www.timesbrasil.com.br | YouTube
🔷 FAST Channels: Samsung TV Plus, LG Channels, TCL Channels, Pluto TV, Roku, Zapping | Novos Streamings
Siga o Times Brasil - Licenciado Exclusivo CNBC no
Este conteúdo foi fornecido pela CNBC
Internacional e a
responsabilidade exclusiva pela tradução para o português é do Times Brasil.
Polícia investiga possível ligação com o Irã em suspeita de plano de atentado contra base aérea britânica usada pelos EUA 
