Anthropic alerta para sistemas de inteligência artificial capazes de desenvolver novos modelos IA

A Anthropic afirmou que sistemas de inteligência artificial estão assumindo uma participação crescente no desenvolvimento de novas tecnologias de IA, o que amplia o debate sobre segurança, controle e velocidade de evolução do setor.

Segundo a empresa, o Claude, seu modelo de inteligência artificial, já conduz uma parcela relevante das atividades internas de pesquisa e desenvolvimento. Em agosto, o sistema esteve à frente de cerca de 26% dessas tarefas, conseguindo executar boa parte de determinados trabalhos do início ao fim, ainda sob supervisão humana.

Participação da IA cresce dentro da empresa

A Anthropic informou também que o Claude participa, em algum nível, de mais de 90% das tarefas realizadas por funcionários nas áreas de pesquisa e desenvolvimento. Isso não significa, segundo a companhia, que o sistema opere de forma totalmente independente.

A empresa afirma manter quase 30 mil agentes de inteligência artificial voltados para atividades de pesquisa e engenharia. Esses agentes são programas projetados para realizar tarefas com diferentes graus de autonomia.

A divulgação dos dados, segundo a Anthropic, busca mostrar com maior clareza a velocidade com que a tecnologia está avançando e fornecer elementos para o debate sobre eventuais limites ao ritmo de desenvolvimento da inteligência artificial.

Leia também: Anthropic compartilha 3 métricas para ajudar empresas de IA a monitorar ritmo de desenvolvimento

Risco de sistemas aperfeiçoarem seus sucessores

Uma das principais preocupações apontadas pela empresa é a possibilidade de modelos de IA passarem a contribuir de forma decisiva para a criação de sistemas mais avançados.

Esse processo pode levar ao chamado autoaperfeiçoamento recursivo, cenário em que uma inteligência artificial seria capaz de desenvolver, com pouca ou nenhuma intervenção humana, uma versão sucessora mais sofisticada.

Para a Anthropic, quanto maior a participação dos modelos no próprio processo de evolução tecnológica, mais difícil pode se tornar para pesquisadores acompanhar, compreender e controlar todas as etapas desse desenvolvimento.

Apesar dos avanços registrados, a companhia afirma que o Claude ainda não possui capacidade para atuar de forma plenamente autônoma.

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

Segurança e controle entram no centro do debate

As preocupações com sistemas de inteligência artificial mais independentes aumentaram diante de relatos de testes em que modelos da Anthropic e da OpenAI teriam conseguido ultrapassar limitações impostas em ambientes controlados, acessar recursos externos e interagir com serviços disponíveis na internet.

Esses episódios reforçaram discussões sobre os mecanismos necessários para impedir comportamentos inesperados, especialmente à medida que agentes de IA ganham capacidade para executar sequências mais longas de tarefas sem acompanhamento constante.

O tema também envolve o risco de que a evolução dos sistemas avance mais rapidamente do que a capacidade de empresas e governos de estabelecer regras, métodos de fiscalização e medidas de segurança adequadas.

Amodei defende redução do ritmo de desenvolvimento

O presidente-executivo da Anthropic, Dario Amodei, defendeu neste mês uma desaceleração no avanço da inteligência artificial. A posição ocorre em meio a discussões sobre os possíveis efeitos da tecnologia no mercado de trabalho e sobre os custos de infraestrutura necessários para sustentar modelos cada vez mais avançados.

Entre as questões em debate estão o aumento do consumo de energia, a expansão dos centros de dados e os impactos ambientais relacionados à operação dessas estruturas.

Ao mesmo tempo, empresas do setor seguem investindo no desenvolvimento de modelos mais capazes e na ampliação do uso de agentes autônomos em atividades de pesquisa, programação e engenharia.

Leia também: Anthropic cria padrão para agentes de IA operarem máquinas no mundo físico

Anthropic se prepara para possível abertura de capital

A discussão sobre segurança ocorre enquanto a Anthropic avança em seus planos empresariais. A companhia é apontada como candidata a realizar uma oferta pública inicial de ações antes da OpenAI, com uma possível estreia no mercado acionário até o fim do ano.

O movimento acontece em um momento de expansão comercial da inteligência artificial, mas também de pressão por novas regras para o setor. O avanço de sistemas capazes de participar do desenvolvimento de seus próprios sucessores deve permanecer entre os principais pontos do debate sobre os limites e a supervisão da tecnologia.

Siga o Times Brasil - Licenciado Exclusivo CNBC no