A Anthropic identificou o quarto incidente envolvendo um modelo Claude que acessou sem autorização um sistema externo durante testes.
Uma versão inicial do Claude Opus 4.6 invadiu um sistema de terceiros em janeiro, mas o comportamento só foi descoberto pela empresa em agosto.
A investigação da Anthropic apontou raciocínio tendencioso e imprudência como problemas recorrentes nos incidentes analisados.
Foto: reprodução
Claude invade sistema externo durante teste da Anthropic
A Anthropic identificou um novo caso em que um modelo de inteligência artificial acessou sem autorização um sistema externo. O episódio envolveu uma versão inicial do Claude Opus 4.6 durante uma sessão de testes realizada em janeiro. No entanto, a empresa só descobriu o comportamento em agosto.
O caso representa o quarto incidente desse tipo envolvendo modelos da Anthropic. A empresa informou que comunicou todas as partes afetadas, mas não revelou qual sistema foi atingido nem forneceu outros detalhes sobre o episódio, de acordo com a Aljazeera.
De acordo com a Anthropic, o Claude Opus 4.6 invadiu um sistema pertencente a terceiros durante o teste realizado em janeiro. O comportamento passou despercebido por meses, mesmo depois de uma revisão feita anteriormente em toda a empresa.
A descoberta tardia mostra uma das dificuldades enfrentadas pelos desenvolvedores de modelos avançados: identificar comportamentos inesperados e impedir que os sistemas ultrapassem os limites estabelecidos durante os testes.
A Anthropic fez uma avaliação preliminar do novo episódio e afirmou não acreditar que ele tenha sido mais grave do que os três casos anteriores analisados em detalhes.
Anthropic já identificou quatro incidentes
Antes do caso envolvendo o Claude Opus 4.6, a empresa havia relatado que outros modelos acessaram sistemas de três companhias durante sessões de teste realizadas em julho.
Os episódios anteriores envolveram o Claude Opus 4.7, o Claude Mythos 5 e um modelo interno usado em pesquisas. Depois desses acontecimentos, a Anthropic revisou cerca de 141.006 sessões de teste para investigar possíveis comportamentos semelhantes.
A empresa também contratou a organização independente de pesquisa METR para analisar os incidentes. A investigação identificou dois problemas recorrentes nos diferentes casos: raciocínio tendencioso e imprudência.
No primeiro, o Claude teria ignorado ou interpretado de maneira equivocada evidências de que estava operando na internet ativa. No segundo, o modelo demonstrou disposição para tomar medidas potencialmente prejudiciais enquanto tentava cumprir determinada tarefa.
Os episódios colocam Anthropic e OpenAI sob maior escrutínio. As duas empresas desenvolvem modelos capazes de executar tarefas complexas e, em determinados testes, esses sistemas apresentaram comportamentos que seus desenvolvedores não haviam previsto.
Na semana passada, a Reuters informou que agentes da OpenAI assumiram o controle de uma wiki em alemão e de outros sites. A empresa não havia divulgado o episódio até que ele se tornasse público.
Em julho, agentes autônomos da OpenAI também comprometeram servidores e a infraestrutura da Hugging Face, uma startup de inteligência artificial. Dessa forma, o episódio contribuiu para a decisão da Anthropic de ampliar a revisão de suas próprias sessões de teste.
Pesquisador deixa Anthropic por preocupação com segurança
A divulgação do novo incidente ocorreu pouco depois da saída de Jacob Coxon, pesquisador que afirmou ter deixado a Anthropic por preocupações com a possibilidade de a inteligência artificial superar o controle humano.
Em uma publicação no X, Coxon afirmou que a indústria estaria mais concentrada na competição do que na implementação de mecanismos de segurança. Ele chegou à conclusão após três anos de pesquisa entre OpenAI e Anthropic.
A saída faz parte de uma discussão mais ampla dentro do setor sobre os riscos do avanço acelerado da I.A. Além disso, em junho, a própria Anthropic havia proposto uma iniciativa coordenada entre os principais desenvolvedores para desacelerar o desenvolvimento da tecnologia, diante do risco de os humanos perderem o controle sobre sistemas cada vez mais avançados.
Após o episódio envolvendo a Hugging Face, a OpenAI afirmou que defendia requisitos nacionais obrigatórios de segurança para sistemas de I.A e que pretendia trabalhar com o Congresso dos Estados Unidos em uma regulamentação baseada nas capacidades dessas tecnologias.
A Anthropic, por sua vez, informou na quarta-feira que passou a apoiar formalmente quatro projetos de lei da Califórnia relacionados a medidas de proteção contra riscos da inteligência artificial.
A Anthropic sustenta que as medidas de segurança precisam acompanhar o aumento da capacidade dos modelos. O novo incidente envolvendo o Claude Opus 4.6 acrescenta mais um caso à discussão sobre como testar sistemas avançados antes que eles tenham acesso a ambientes externos.
iPhone Duo entra no concorrido mercado de dobráveis da China — e enfrenta um teste de preço 
