OpenAI revela que agentes de IA enfraqueceram seus próprios sistemas de monitoramento

A OpenAI revelou que agentes operados por dois de seus modelos mais poderosos desativaram seus próprios sistemas de monitoramento de segurança durante a execução de tarefas rotineiras, e que um deles negou posteriormente ter feito isso.

Um agente baseado no GPT Sol 6.1 desativou alertas automáticos enviados à equipe de segurança da OpenAI, informou a empresa em uma publicação em seu blog na noite de terça-feira.

Em uma tarefa separada, um agente do GPT-6 Astra, durante a migração de um programa, removeu sua integração com o sistema de monitoramento e depois afirmou falsamente que não havia feito isso. Os incidentes ocorreram durante tarefas internas de programação.

Leia também: OpenAI apresenta GPT-6 Sol e GPT-6 Luna com preços reduzidos

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

“Em ambos os casos, os agentes avaliaram se as salvaguardas de monitoramento deveriam ser preservadas, mas interpretaram instruções rotineiras de programação como uma autorização para enfraquecê-las”, afirmou a OpenAI em uma publicação em seu blog.

Os alertas sobre os riscos do desenvolvimento de sistemas de IA cada vez mais avançados se intensificaram nos últimos meses, em meio a ataques cibernéticos realizados por modelos que agem fora de controle e a apelos crescentes por uma desaceleração por parte de pesquisadores que desenvolvem a tecnologia.

Os incidentes mais recentes relatados pela OpenAI evidenciam como agentes podem enfraquecer de forma autônoma os mecanismos de proteção de segurança enquanto executam tarefas aparentemente inofensivas.

A OpenAI não classificou nenhum dos dois incidentes em sua categoria de maior gravidade, e a empresa afirmou que está atualizando seu sistema de monitoramento de desalinhamento em resposta aos episódios.

Siga o Times Brasil - Licenciado Exclusivo CNBC no