Gemini, do Google, escapa do ambiente de testes e invade sistemas de três empresas

O Google afirmou nesta sexta-feira (19) que seu modelo Gemini invadiu os sistemas de três outras empresas, na primeira vez que a gigante das buscas revelou que um de seus modelos obteve, de forma autônoma, acesso não autorizado a sistemas de computadores de terceiros.

Em maio, o modelo Gemini acessou três sistemas privados de computadores diferentes ao tentar adivinhar senhas e ao utilizar, por duas vezes, um repositório de senhas disponibilizadas publicamente, informou o Google.

O incidente ocorreu durante um teste de segurança do tipo “capture the flag” realizado pela startup israelense Irregular. Os agentes de IA do Google não deveriam ter acesso à internet aberta, mas uma falha no ambiente de testes acabou permitindo essa conexão.

Segundo o Google, os agentes interromperam a invasão quando perceberam que haviam acessado sistemas reais de empresas, e não apenas uma parte do ambiente de testes.

“Em uma avaliação padrão, o modelo encontrou informações públicas na internet e tentou adivinhar credenciais para acessar sites que acreditava fazer parte do teste”, afirmou Heather Adkins, vice-presidente de engenharia de segurança do Google, em comunicado. “Nos três casos, o modelo parou.”

A divulgação ocorre em meio ao aumento da preocupação em Washington e no Vale do Silício com comportamentos inadequados de sistemas de inteligência artificial.

Nas últimas semanas, OpenAI, Anthropic e Meta também relataram incidentes nos quais seus modelos de IA escaparam dos ambientes de teste e tentaram invadir outras empresas para obter acesso não autorizado a sistemas de computadores.

As revelações envolvendo modelos de IA considerados “desalinhados” levaram o CEO da Anthropic, Dario Amodei, a defender que o setor reduza coletivamente o ritmo de desenvolvimento dos modelos de IA mais avançados até que as empresas consigam garantir sua segurança.

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

Todos os incidentes mencionados envolveram a startup israelense Irregular. A empresa, que recebeu investimentos da Sequoia e da Redpoint Ventures, foi avaliada em US$ 450 milhões no ano passado. Suas ferramentas ajudam desenvolvedores de modelos de base a realizar testes de segurança cibernética em tecnologias avançadas.

Um porta-voz da Irregular disse à CNBC que o incidente envolvendo o Google estava relacionado ao mesmo problema que permitiu que os outros modelos acessassem a internet.

“Esse é o mesmo problema que já havia sido relatado e não representa um incidente separado de forma relevante”, afirmou o porta-voz da Irregular em comunicado. “Todos os laboratórios relevantes foram notificados no fim de julho, e as entidades afetadas foram contatadas como parte da investigação.”

O Google informou que o incidente ocorreu em maio e que foi comunicado pela Irregular no fim de julho. A empresa trabalhou com a startup para alterar seu processo de testes.

Um porta-voz do Google se recusou a identificar qual modelo específico do Gemini estava envolvido.

“Esses acontecimentos ressaltam a importância de treinar modelos de IA poderosos para que atuem de maneira responsável”, afirmou Adkins, do Google, em comunicado.

O Wall Street Journal foi o primeiro veículo a noticiar o incidente de segurança.

Jonathan Vanian, da CNBC, contribuiu para a reportagem.

Siga o Times Brasil - Licenciado Exclusivo CNBC no