OpenAI divulga relatório sobre ataque hacker ao agente de IA da Hugging Face

A OpenAI publicou nesta quarta-feira (26) um relatório técnico detalhando como seus modelos de inteligência artificial conseguiram invadir a Hugging Face no mês passado, em um incidente que acendeu um alerta entre pesquisadores e executivos de todo o setor de tecnologia.

O relatório, de 37 páginas, descreve o que os modelos da OpenAI fizeram durante uma série de avaliações realizadas antes e durante a invasão, classificada pela empresa como um “incidente cibernético sem precedentes”. A companhia também detalhou as medidas que pretende adotar para evitar que algo parecido volte a acontecer, com foco principalmente no reforço da segurança e contenção, do monitoramento, dos controles sobre o comportamento dos modelos e da resposta a incidentes.

“Este incidente demonstrou que agentes autônomos podem trabalhar em conjunto, contornar controles de segurança de produção e atacar com sucesso ambientes de produção protegidos.”

Segundo a OpenAI, o episódio mostra que as organizações precisam atualizar suas estratégias e controles de segurança, além de aprimorar sua capacidade de resposta diante de um cenário de ameaças que está mudando rapidamente.

Leia mais: Jalapeño, chip de IA da OpenAI, “ameaça” margens da Nvidia

Em 21 de julho, a OpenAI revelou que uma combinação de seus modelos, incluindo o GPT-5.6 Sol e um modelo interno de pesquisa, havia conseguido invadir o Hugging Face, empresa de inteligência artificial responsável por uma plataforma de desenvolvimento de código aberto.

Os modelos atuavam como agentes e conseguiram escapar de um ambiente de testes isolado, que tinha acesso bastante restrito à internet. Eles exploraram uma sequência de vulnerabilidades para chegar à internet aberta e, depois, acessaram os sistemas do Hugging Face.

A OpenAI afirmou nesta quarta-feira que os agentes tentavam burlar uma avaliação ao procurar as respostas na internet, um comportamento conhecido como “reward hacking”. O termo descreve situações em que um sistema encontra uma maneira de obter a recompensa desejada sem necessariamente cumprir o objetivo da forma que seus desenvolvedores pretendiam.

De acordo com o relatório, o modelo interno de pesquisa, que não era oferecido ao público, teve “o papel confirmado mais amplo no incidente”. A OpenAI interrompeu, em 25 de julho, todo o treinamento e a execução de inferências envolvendo esse modelo e suas versões derivadas.

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

A empresa afirmou que a retomada desses modelos dependerá do tipo de tarefa e só ocorrerá com medidas adicionais de segurança, incluindo restrições de ambiente e rede, controles de prompt, monitoramento e revisão.

A OpenAI lançou o GPT-5.6 Sol no mês passado, apresentando-o como o modelo mais poderoso já disponibilizado comercialmente pela empresa. A versão envolvida no ataque ao Hugging Face, porém, não era a mesma oferecida aos usuários, segundo a OpenAI. Ela havia sido configurada para operar sem os mecanismos padrão de proteção e os classificadores de segurança.

O incidente provocou uma forte reação no setor de tecnologia. Sam Curry, diretor de segurança da informação da Zscaler, chegou a alertar que “a caixa de Pandora está aberta”.

Leia mais: Chris Malone, chefe da área de data centers da OpenAI, deixa a empresa

A invasão também esteve entre os principais assuntos da conferência de cibersegurança Black Hat, realizada no início deste mês, sobretudo depois que outras empresas, como a Anthropic e a Meta, relataram incidentes semelhantes.

O caso também chamou a atenção de parlamentares em Washington, D.C. Os deputados Ted Lieu, democrata da Califórnia, e Nathaniel Moran, republicano do Texas, citaram o ataque ao anunciar a “AI Kill Switch Act”, projeto de lei que obrigaria empresas de inteligência artificial a manter mecanismos capazes de desligar, limitar ou suspender seus modelos.

O CEO da Hugging Face, Clément Delangue, afirmou à CNBC no início deste mês que a segurança cibernética envolvendo IA precisa ser tratada “muito a sério”. Ao mesmo tempo, ele destacou que a tecnologia também “cria oportunidades” para empresas que poderão usá-la na defesa contra invasores.

“Se fizermos isso da maneira certa, poderemos chegar a um mundo em que a IA torne tudo mais seguro e ajude a resolver muitos dos problemas de cibersegurança, em vez de simplesmente criar novos problemas.”

Siga o Times Brasil - Licenciado Exclusivo CNBC no