A OpenAI suspendeu algumas “atividades internas” relacionadas ao seu novo modelo Astra, afirmando estar preocupada com a possibilidade de o sistema ser capaz de lançar ciberataques de forma autônoma.
A empresa afirmou que ainda não pode descartar a possibilidade de o modelo ter atingido seu nível “Crítico” de capacidade em cibersegurança.
Outros incidentes envolvendo avaliações de IA e novos esforços de supervisão nos Estados Unidos e na União Europeia estão ampliando o escrutínio sobre a segurança de modelos de fronteira.
Foto: Unsplash
O presidente da OpenAI, Greg Brockman, minimizou as preocupações relacionadas à rotatividade de executivos na empresa de I.A.
A OpenAI interrompeu algumas “atividades internas” envolvendo um novo modelo em meio a preocupações sobre a potencial ameaça cibernética representada pela tecnologia, em uma onda de incidentes de segurança envolvendo grandes laboratórios de inteligência artificial.
Revelações recentes de que sistemas de I.A da Anthropic, OpenAI e Meta estiveram envolvidos em incidentes de segurança provocaram uma onda de preocupações sobre o desenvolvimento desses modelos. Enquanto isso, parlamentares dos Estados Unidos estão intensificando os esforços para aprovar um projeto de lei conhecido como “AI Kill Switch”, que permitiria o desligamento de sistemas de inteligência artificial em determinadas circunstâncias.
Na semana passada, a Meta revelou que um modelo de IA que estava desenvolvendo havia invadido um sistema de terceiros ao acessar a internet, devido a uma configuração incorreta feita por uma empresa independente de testes com a qual trabalhava. O Instituto de Segurança de IA do Reino Unido também afirmou que o modelo Mythos, da Anthropic, criou identidades falsas na internet na tentativa de pressionar seres humanos a aprovar atualizações de código malicioso para um projeto de código aberto.
O que a OpenAI diz que o Astra pode ser capaz de fazer
Na sexta-feira, a OpenAI revelou preocupações sobre seu modelo ainda não lançado, o Astra, afirmando que não poderia descartar a possibilidade de o sistema ter atingido o nível de capacidade “Crítico”. Isso significa que o modelo poderia ser capaz de lançar ciberataques contra sistemas com defesas sofisticadas de forma autônoma, sem receber instruções específicas sobre como realizar o ataque.
“Enquanto continuamos a testar e avaliar este modelo, nossas avaliações preliminares indicam um desempenho suficientemente forte para que não possamos descartar, neste momento, um nível de capacidade Crítico”, afirmou a OpenAI em comunicado.
A empresa acrescentou que está implementando controles de segurança mais rígidos para modelos com níveis mais elevados de capacidade, incluindo ambientes de testes isolados e recursos adicionais de monitoramento e detecção.
“Implementamos monitoramento universal para ações de risco e desalinhamento em todas as aplicações autônomas do Astra, incluindo treinamento e avaliação”, afirmou a OpenAI.
Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.
Parlamentares dos Estados Unidos têm defendido medidas para reduzir os riscos relacionados aos modelos de IA após os recentes incidentes de segurança.
Depois que modelos desenvolvidos pela OpenAI invadiram a infraestrutura digital da startup Hugging Face, o projeto de lei “AI Kill Switch Act” foi apresentado ao Congresso em julho. A proposta exigiria que empresas de inteligência artificial mantivessem a capacidade de desligar, reduzir a operação ou suspender seus modelos.
“Precisamos aprovar esse projeto ainda este ano porque os modelos avançados de pesos fechados já estão, como você observou, realizando invasões não autorizadas de outras empresas”, afirmou o deputado democrata Ted Lieu, da Califórnia, em entrevista à CNBC no programa “Squawk Box”, na quinta-feira.
Os governos também trabalham na implementação de novos marcos regulatórios e estruturas de supervisão para empresas de inteligência artificial.
A Casa Branca também vem intensificando os esforços para dialogar com executivos do setor de I.A enquanto desenvolve uma estrutura para regulamentar novos modelos.
No início deste mês, a União Europeia obteve novos poderes para inspecionar modelos de I.A que serão lançados no bloco, restringir o acesso desses sistemas ao mercado europeu e aplicar multas aos fornecedores de modelos.
Ações da Nvidia operam em leve alta em meio à pressão após suspeitas de ligação com espionagem chinesa 
