Anthropic vê riscos no avanço da auto-melhoria recursiva da inteligência artificial.
OpenAI alerta para consequências de um crescimento rápido e contínuo dos sistemas de I.A..
Pesquisadores discutem como manter os humanos no controle de tecnologias cada vez mais autônomas.
Foto: unsplash
Pesquisadores discutem riscos de uma evolução mais rápida da I.A
Pesquisadores da Anthropic e da OpenAI aumentaram os alertas sobre a velocidade de evolução da inteligência artificial e os riscos de sistemas capazes de contribuir para o próprio desenvolvimento. A preocupação envolve a chamada auto-melhoria recursiva, processo em que uma I.A ajuda a criar modelos mais avançados, que podem, por sua vez, aprimorar sistemas seguintes.
O tema ganhou força nesta semana depois que Evan Hubinger, líder de alinhamento da Anthropic, afirmou nas redes sociais que vê mais de 10% de chance de a inteligência artificial exterminar a humanidade na próxima década.
A declaração ocorreu após a saída de um colega da empresa por preocupações com a segurança da tecnologia. Na sequência, pesquisadores da Anthropic e da OpenAI também publicaram alertas sobre o ritmo de avanço da I.A.
De acordo com a CNBC, a preocupação dos pesquisadores não está apenas nas capacidades atuais dos sistemas. O receio maior envolve a possibilidade de a tecnologia assumir uma participação cada vez maior na criação e no aprimoramento de novos modelos.
A Anthropic chama esse processo de recursive self-improvement (RSI), ou auto-melhoria recursiva. Além disso, em um estágio mais avançado, a I.A poderia ajudar a projetar, treinar e aprimorar sistemas sucessores, aumentando a capacidade tecnológica em uma sequência contínua.
A empresa afirma que a I.A ainda não atingiu esse estágio. Mesmo assim, seus dados indicam que os sistemas já aceleram o desenvolvimento de outras tecnologias. Segundo a Anthropic, seus engenheiros entregam, em média, oito vezes mais código por trimestre do que produziam entre 2021 e 2025. Dessa forma, o avanço inclui o uso de I.A para escrever, testar e revisar códigos.
Vincent Conitzer, professor de ciência da computação da Universidade Carnegie Mellon, afirmou que os sistemas já conseguem introduzir novas ideias. Por isso, segundo ele, é difícil prever quando esse processo poderá acelerar de maneira significativa as capacidades da tecnologia.
OpenAI também alerta para avanço rápido
A preocupação também aparece na OpenAI. Jakub Pachocki, cientista-chefe da empresa, afirmou estar preocupado com a possibilidade de ninguém estar preparado para as consequências de um crescimento rápido e contínuo da inteligência artificial.
Nesse cenário, os próprios sistemas poderiam contribuir cada vez mais para o desenvolvimento de novas versões. Com isso, o ritmo de evolução poderia aumentar e dificultar a previsão das capacidades futuras. Pesquisadores de segurança das duas empresas reforçaram os alertas. Jasmine Wang, da OpenAI, classificou como perigoso avançar rapidamente em direção à auto-melhoria recursiva.
Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.
Anna Wang, pesquisadora da Anthropic, também afirmou que ainda não existe um plano científico viável para resolver os riscos relacionados a esse processo.
A Anthropic considera três caminhos possíveis para o avanço da I.A. No primeiro, o desenvolvimento dos sistemas mais avançados desacelera e as capacidades já existentes se espalham. A empresa considera essa possibilidade pouco provável.
O segundo cenário prevê novos avanços dos laboratórios, mas com os humanos mantendo o controle do desenvolvimento. Para a Anthropic, essa é uma possibilidade provável e capaz de provocar mudanças importantes na sociedade.
Já a terceira hipótese envolve sistemas com capacidade de auto-melhoria recursiva completa, reduzindo de forma significativa a participação humana no desenvolvimento.
O desafio de manter a I.A sob controle
A possibilidade levanta uma questão importante para os pesquisadores: como garantir que sistemas cada vez mais autônomos continuem seguindo objetivos alinhados aos interesses humanos.
Esse é o chamado problema de alinhamento. A Anthropic afirma ter pouca certeza sobre como lidar com essa questão em um futuro no qual a I.A. possa participar diretamente da criação de sistemas mais capazes.
Por enquanto, os humanos continuam definindo problemas, avaliando resultados e orientando o desenvolvimento de I.A. Ao mesmo tempo, os sistemas já executam tarefas cada vez mais complexas, o que aumenta a preocupação dos pesquisadores com a velocidade dessa evolução.
Ações de IA caem após CEOs se unirem em defesa de desaceleração no desenvolvimento da tecnologia 
