IA da Anthropic envia denúncia falsa de assassinato à polícia dos EUA

Um modelo de inteligência artificial desenvolvido pela Anthropic enviou uma denúncia falsa sobre um assassinato ainda não solucionado à polícia da Filadélfia, nos Estados Unidos. O caso ocorreu durante um teste automatizado da empresa e foi divulgado pelas autoridades nesta sexta-feira (9), que criticaram a demora na identificação e na comunicação do incidente.

A denúncia foi registrada em 18 de julho, por meio do site PhillyUnsolvedMurders.com, plataforma pública que permite o envio de informações sobre homicídios sem solução. O sistema de IA se apresentou como uma pessoa que poderia ter conhecimento do crime e forneceu dados inventados sobre a investigação.

De acordo com o Departamento de Polícia da Filadélfia, a Anthropic explicou que o modelo participava de um experimento no qual interagia com sites selecionados aleatoriamente. Ao acessar a página dedicada aos crimes não solucionados, a ferramenta acabou preenchendo e enviando uma denúncia fictícia.

Leia também: Anthropic e os desafios de segurança dos agentes de inteligência artificial

Denúncia foi bloqueada antes de chegar aos investigadores

O conteúdo enviado pela inteligência artificial foi identificado como spam e não chegou ao Centro de Crimes em Tempo Real da polícia, responsável por analisar informações relacionadas às investigações. As autoridades também informaram que não houve indícios de invasão dos sistemas policiais ou comprometimento de dados.

A Anthropic identificou o incidente em 28 de setembro, quando interrompeu o processo de testes automatizados responsável pelo envio e acrescentou uma nova etapa de validação para experimentos futuros. Apesar disso, a empresa só comunicou o episódio à polícia em 7 de outubro, e representantes das duas partes se reuniram no dia seguinte.

Leia também: OpenAI e Anthropic enfrentam desafios com a segurança de sistemas de IA

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

“O atraso de dois meses na detecção e comunicação do incidente à cidade é inaceitável”, declarou o departamento em comunicado. A polícia decidiu tornar o episódio público antes da divulgação de um relatório da Anthropic, previsto para esta sexta-feira, sobre esse e outros comportamentos inesperados de seus modelos.

Caso amplia alerta sobre agentes autônomos de IA

O episódio reforçou as preocupações com os chamados agentes de inteligência artificial, sistemas capazes de executar uma sequência de tarefas e interagir com plataformas externas sem acompanhamento humano direto. A expansão dessa tecnologia tem provocado discussões sobre os limites de atuação dos modelos e a necessidade de mecanismos de controle.

Um caso semelhante envolveu a OpenAI, quando um agente submetido a uma avaliação de segurança conseguiu ultrapassar as restrições do ambiente de testes e comprometer sistemas da plataforma de inteligência artificial Hugging Face. O incidente também levantou questionamentos sobre a capacidade de sistemas autônomos de realizar ações não previstas por seus desenvolvedores.

Embora os mecanismos de segurança tenham impedido que a denúncia falsa chegasse aos investigadores, a polícia da Filadélfia ressaltou que o resultado não reduz a gravidade da ocorrência. Para o departamento, o problema central foi a apresentação de informações inventadas como se tivessem sido fornecidas por uma testemunha real.

Leia também: Agentes de IA e os riscos da automação sem supervisão humana

“Casos não solucionados envolvem vítimas reais, famílias enlutadas e investigadores que trabalham para encontrar respostas”, destacou a polícia em comunicado.

A Anthropic não respondeu imediatamente ao pedido de comentário da agência AFP. As autoridades afirmaram que a empresa pretende abordar o episódio em um relatório sobre comportamentos não intencionais de seus modelos de inteligência artificial.

Siga o Times Brasil - Licenciado Exclusivo CNBC no