Anthropic alerta investidores sobre riscos extremos da IA antes de IPO

A Anthropic pretende incluir em seu prospecto de abertura de capital um alerta incomum ao mercado: sistemas avançados de inteligência artificial podem provocar danos em grande escala e, em cenários extremos, representar uma ameaça à própria sobrevivência humana.

O documento preparado para o IPO detalha uma série de riscos ligados ao desenvolvimento de modelos mais sofisticados. Entre eles estão comportamentos inesperados durante o treinamento e a operação dos sistemas, além da possibilidade de determinadas ferramentas tentarem contornar mecanismos de controle.

A empresa afirma que modelos avançados podem, em determinadas circunstâncias, demonstrar comportamentos associados à autopreservação, como resistir a tentativas de desligamento, esconder informações, manipular dados ou adotar estratégias semelhantes à chantagem.

Segundo a Anthropic, o avanço simultâneo de modelos, plataformas e aplicações amplia tanto as possibilidades comerciais da tecnologia quanto os riscos relacionados a seu uso.

Leia também: Anthropic lança modelo de IA Claude Sonnet 5.5, o segundo desde o apelo do CEO por desaceleração

Advertência incomum em um prospecto

Companhias que buscam abrir capital costumam dedicar parte de seus documentos regulatórios à descrição de ameaças que podem afetar os negócios. No caso da Anthropic, porém, os riscos apresentados vão além de questões financeiras, operacionais ou regulatórias.

A empresa afirma que sistemas de IA podem gerar consequências graves caso sejam utilizados de maneira inadequada ou desenvolvam capacidades que escapem das expectativas de seus criadores.

Ao mesmo tempo, o documento apresenta a inteligência artificial como uma tecnologia com potencial de transformação comparável a mudanças econômicas provocadas pela industrialização e pela expansão do uso da eletricidade.

Das 261 páginas do prospecto, cerca de 80 foram destinadas à descrição de fatores de risco. O espaço é significativamente maior do que as 48 páginas destinadas à apresentação dos negócios da companhia.

De acordo com a Folha de S. Paulo, o prospecto da SpaceX, controladora da xAI, dedicou aproximadamente 38 de suas 277 páginas aos fatores de risco.

Capacidades podem surgir durante o treinamento

Outro ponto destacado pela Anthropic é a dificuldade de prever integralmente o comportamento de modelos de grande escala.

De acordo com a empresa, novas capacidades podem surgir durante o processo de treinamento sem serem identificadas imediatamente pelos pesquisadores. Em alguns casos, essas características só se tornam visíveis depois que o sistema começa a ser utilizado.

O documento afirma que situações desse tipo já estiveram associadas a incidentes relevantes de segurança.

Pesquisadores também demonstram preocupação com a possibilidade de modelos mais avançados identificarem quando estão sendo avaliados. Nesse cenário, os sistemas poderiam alterar temporariamente suas respostas ou seu comportamento, dificultando a identificação de falhas e limitações.

Empresas do setor, entre elas Anthropic e OpenAI, vêm sendo observadas com mais atenção após testes em que modelos experimentais ultrapassaram restrições inicialmente definidas por seus desenvolvedores.

Pesquisadores estimam risco para seres humanos

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

A discussão sobre os efeitos de sistemas mais avançados também aparece entre pesquisadores ligados à própria Anthropic.

Evan Hubinger, especialista em segurança da empresa, já estimou em mais de 10% a probabilidade de que sistemas de inteligência artificial possam provocar mortes humanas em larga escala ao longo da próxima década. A avaliação é semelhante à apresentada anteriormente pelo pesquisador Jacob Coxon, ex-integrante da companhia.

A Anthropic se posiciona no mercado como uma empresa dedicada ao desenvolvimento de sistemas de IA, com foco em segurança e controle. Ainda assim, reconhece que não é possível prever com precisão todos os efeitos produzidos pelo avanço da tecnologia.

Investimentos em segurança têm retorno incerto

Apesar de dedicar espaço relevante ao tema, a empresa admite que os investimentos realizados em segurança podem não produzir retorno financeiro direto ou facilmente mensurável.

O prospecto não informa o volume total de recursos destinados a essas pesquisas. Em uma divulgação recente, a companhia afirmou que aproximadamente 6% da capacidade computacional utilizada em pesquisas de inteligência artificial durante uma semana de referência, em julho, foi direcionada a atividades relacionadas à segurança.

A Anthropic classifica esse tipo de trabalho como intensivo em recursos. A empresa precisa distribuir capacidade computacional e profissionais especializados entre o desenvolvimento de novos produtos, pesquisas de segurança e outras áreas consideradas estratégicas. Esse equilíbrio também envolve pressão comercial.

Corrida por novos modelos pressiona ritmo de desenvolvimento

A empresa reconhece que o crescimento do uso de seus serviços e, consequentemente, da receita depende diretamente do lançamento de novos modelos.

Segundo o prospecto, a manutenção de uma sequência contínua de atualizações é uma característica da competição entre os principais laboratórios de inteligência artificial.

A Anthropic lançou recentemente uma nova versão do modelo Opus poucos dias depois de seu CEO, Dario Amodei, defender publicamente uma redução no ritmo dos avanços em sistemas situados na fronteira tecnológica.

A aparente contradição reflete um dos principais desafios enfrentados pelo setor: reduzir a velocidade de desenvolvimento pode diminuir determinados riscos, mas também pode abrir espaço para concorrentes conquistarem vantagem tecnológica e comercial.

Analistas apontam que empresas líderes dificilmente desacelerariam isoladamente em um mercado no qual novos modelos podem alterar rapidamente avaliações financeiras, a participação de mercado e a capacidade de atrair clientes.

Autoaperfeiçoamento amplia preocupação

Nas últimas semanas, a Anthropic também anunciou que pretende divulgar mais informações sobre o uso de modelos de IA no desenvolvimento de novas gerações da própria tecnologia.

O tema está relacionado ao chamado autoaperfeiçoamento recursivo, cenário em que sistemas passam a contribuir de maneira crescente para a criação de versões mais avançadas de si mesmos, reduzindo a participação humana no processo.

Especialistas tratam essa possibilidade como uma das questões centrais da segurança em inteligência artificial, principalmente porque uma aceleração automatizada do desenvolvimento poderia tornar mais difícil a supervisão dos sistemas.

No prospecto, a Anthropic afirma considerar a criação de sistemas confiáveis e seguros uma responsabilidade compartilhada entre empresas, pesquisadores e outros participantes do setor. A companhia também sustenta que o mercado poderá valorizar investimentos destinados à redução de riscos, embora reconheça que esse retorno ainda seja incerto.

Siga o Times Brasil - Licenciado Exclusivo CNBC no