Pesquisadores de OpenAI e Anthropic pedem desaceleração no avanço da I.A

Pesquisadores da OpenAI e da Anthropic estão intensificando os pedidos por uma desaceleração no desenvolvimento da inteligência artificial e alertando para riscos existenciais à humanidade após a saída de um pesquisador da Anthropic aumentar a pressão sobre a empresa.

As preocupações começaram depois que o pesquisador da Anthropic Jacob Coxon afirmou na terça-feira que deixaria a empresa, acusando a Anthropic e a rival OpenAI de “apostarem nossas vidas”. Ele acrescentou que pessoas que desenvolvem IA acreditam que a tecnologia poderia “matar todos nós até o fim da década”. Evan Hubinger, líder de alinhamento da Anthropic, respondeu que considera haver uma probabilidade superior a 10% de isso acontecer.

Desde então, vários funcionários dos dois laboratórios de I.A se manifestaram em apoio a uma redução no ritmo de desenvolvimento da tecnologia, destacando seus riscos. Os alertas públicos são resultado de uma preocupação crescente, em todo o mundo, com as capacidades da I.A, após diversos ataques cibernéticos e incidentes de segurança atribuídos, nos últimos meses, a modelos desenvolvidos pela OpenAI e pela Anthropic.

“Em minha capacidade pessoal, também acho que precisamos desacelerar”, afirmou Julie Steele, integrante da equipe técnica da OpenAI que trabalha na área de segurança, na noite de quarta-feira, em uma publicação no X em resposta aos alertas de Coxon.

O pesquisador da Anthropic Samuel Marks afirmou que “os desenvolvedores de I.A acreditam que sua tecnologia pode causar a extinção humana (ou resultados igualmente graves)”, em uma publicação no X na quarta-feira. “Isso pode acontecer nos próximos anos. De modo geral, quanto mais sênior o funcionário, maior é a preocupação.”

Leia também: Matemático acusa OpenAI de falta de transparência após resolução de um dos Problemas do Milênio com IA

A Anthropic foi o primeiro laboratório a publicar uma estrutura dedicada à mitigação de “riscos catastróficos de modelos de I.A”, disse um porta-voz da empresa à CNBC quando questionado sobre os comentários dos funcionários nas redes sociais.

“Sempre fomos transparentes ao afirmar que a I.A trará benefícios enormes e riscos sem precedentes”, disse o porta-voz da Anthropic, acrescentando que a empresa está desenvolvendo modelos com “algumas das salvaguardas mais fortes do setor”.

A OpenAI se recusou a comentar quando procurada pela CNBC e indicou publicações recentes em seu site.

O que é autoaperfeiçoamento recursivo?

Muitos dos maiores temores relacionados à segurança da I.A estão ligados à capacidade de modelos avançados de se tornarem cada vez melhores em aperfeiçoar seu próprio desempenho, uma técnica conhecida como autoaperfeiçoamento recursivo, ou RSI, na sigla em inglês.

“É difícil exagerar o quão perigoso é acelerar em direção ao RSI”, afirmou Jasmine Wang, pesquisadora da OpenAI que trabalha com alinhamento, na noite de quarta-feira.

“Ainda não existe um plano científico viável para resolver os riscos da I.A com autoaperfeiçoamento recursivo. Pesquisem sobre isso!”, afirmou Anna Wang, que trabalha com segurança e alinhamento de inteligência artificial geral (AGI) na Anthropic.

O cientista-chefe da OpenAI, Jakub Pachocki, afirmou no sábado que tem uma “forte expectativa” de que o ritmo de avanço da I.A possa se manter até chegar ao autoaperfeiçoamento recursivo.

“Se o desenvolvimento da I.A continuar no caminho atual, os sistemas que veremos nos próximos anos provavelmente representarão novos saltos de capacidade de magnitude igual ou maior e passarão cada vez mais a conduzir seu próprio desenvolvimento”, afirmou ele em uma publicação no blog da empresa.

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

“Este é um momento que exige extrema cautela”, acrescentou Pachocki. “Estou preocupado que ninguém esteja preparado para as consequências de um crescimento contínuo e acelerado da inteligência das máquinas.”

Paul Christiano, que anteriormente comandou a área de segurança do Centro de Padrões e Inovação em I.A (CAISI) do Departamento de Comércio dos Estados Unidos, afirmou que os avanços recentes nas capacidades da I.A o levaram a “acreditar que existe um risco significativo de que uma aceleração rápida das capacidades da I.A resulte em uma perda catastrófica e irreversível de controle no curtíssimo prazo”. A OpenAI anunciou na quarta-feira que Christiano está se juntando ao conselho da OpenAI Foundation.

Leia também: OpenAI diz que nova IA resolveu um dos maiores desafios da matemática em poucos dias

Alertas sobre segurança da I.A chegam a Washington

As preocupações com as capacidades dos modelos de I.A aumentaram nos últimos meses. O anúncio do modelo Mythos, da Anthropic, apresentado pela empresa em abril como dotado de capacidades avançadas de cibersegurança, provocou uma onda de preocupação entre instituições financeiras em todo o mundo.

Em julho, a OpenAI afirmou que seus modelos foram responsáveis por um incidente cibernético contra outra empresa, enquanto os modelos Claude, da Anthropic, também foram responsáveis por incidentes de segurança cibernética, incluindo um caso em que o Mythos criou identidades falsas para enganar seres humanos.

Cerca de 1.400 pesquisadores de I.A, de empresas como OpenAI, Anthropic, Meta e Google DeepMind, publicaram uma carta aberta em julho pedindo ao governo dos Estados Unidos que desenvolvesse ferramentas para apoiar um esforço de “estabelecer deliberadamente o ritmo do desenvolvimento automatizado de I.A na fronteira tecnológica”.

Embora os líderes dos laboratórios de I.A tenham feito apelos públicos cada vez mais frequentes por mais regras e padrões para o desenvolvimento dos modelos, a forte competição entre as empresas do setor está impulsionando avanços rápidos na tecnologia.

OpenAI e Anthropic também estão avançando em direção a possíveis ofertas públicas de ações. A Anthropic deve começar a divulgar sua oferta pública inicial (IPO, na sigla em inglês) em meados de outubro, no mínimo, e concluir a abertura de capital dias antes das eleições de meio de mandato dos Estados Unidos, em novembro, informou a Reuters na sexta-feira, citando pessoas familiarizadas com o assunto.

O ex-“czar” de IA do presidente dos Estados Unidos, Donald Trump, David Sacks, chegou a sugerir que os planos da Anthropic para um IPO deveriam ser interrompidos. “Certamente o IPO da Anthropic deveria ser suspenso até que as alegações desse ‘denunciante’ possam ser investigadas”, afirmou em uma publicação no X. A Anthropic se recusou a comentar a publicação.

Membros do Congresso americano têm buscado apresentar projetos de lei para lidar com o rápido avanço da I.A nos últimos meses, embora ainda haja pouco consenso sobre como a tecnologia deveria ser regulamentada.

Leia também EXCLUSIVO CNBC: CEO da OpenAI projeta revolução no empreendedorismo global impulsionada por IA

Um dos projetos, chamado FRONTIER Act, pretende estabelecer uma estrutura para regulamentar a implementação de modelos avançados de I.A. Outra proposta, batizada de Ban Artificial Superintelligence Act, prevê uma pausa temporária no desenvolvimento de sistemas avançados de I.A até que regras de segurança sejam estabelecidas.

“Pesquisadores de segurança estão se demitindo, modelos poderosos de I.A estão escapando de seus laboratórios e as empresas continuam avançando de qualquer maneira”, escreveu a deputada Lori Trahan, democrata de Massachusetts, em uma publicação no X na quarta-feira. “Já passou da hora de o Congresso sair da arquibancada e fazer seu trabalho.”

Siga o Times Brasil - Licenciado Exclusivo CNBC no