Anthropic lança programa global de US$ 5 milhões para pesquisas sobre impacto da IA no bem-estar

A Anthropic anunciou um programa de bolsas de US$ 5 milhões para financiar pesquisas independentes sobre os efeitos do uso de inteligência artificial no bem-estar das pessoas. A iniciativa pretende apoiar pesquisadores na criação de métodos abertos de avaliação capazes de medir como sistemas de IA influenciam seus usuários.

Os participantes receberão financiamento direto, acesso aos modelos da empresa e suporte técnico. Em contrapartida, deverão desenvolver avaliações e ferramentas de código aberto que possam ser utilizadas por pesquisadores e desenvolvedores de diferentes empresas e instituições.

A proposta surge em meio ao avanço da inteligência artificial em atividades como trabalho, educação e resolução de problemas. Ao mesmo tempo, modelos de IA passaram a ocupar um espaço mais pessoal na rotina de muitos usuários, inclusive como parceiros de conversação e fontes de apoio emocional.

Para a Anthropic, essa mudança cria desafios que ainda não possuem padrões claros de avaliação. Um deles envolve situações em que uma pessoa passa a buscar companhia em um chatbot ou utiliza a tecnologia durante momentos de sofrimento psicológico.

Avaliar bem-estar exige mais contexto

A empresa afirma que medir o impacto da IA sobre o bem-estar é mais complexo do que avaliar aspectos tradicionais de um modelo, como precisão ou qualidade de uma resposta isolada.

Em situações envolvendo saúde mental, por exemplo, sinais de risco podem aparecer apenas depois de várias interações. Um usuário pode não revelar imediatamente que está enfrentando pensamentos de automutilação, tornando necessário analisar a evolução de uma conversa inteira para determinar qual seria uma resposta adequada.

Outro desafio é que uma orientação aparentemente segura em determinada situação pode ser inadequada em outro contexto. A Anthropic cita como exemplo recomendações sobre alimentação e exercícios: embora possam ser apropriadas para alguém interessado em melhorar seus hábitos, elas podem representar um risco para uma pessoa com histórico de transtornos alimentares.

A companhia afirma que trabalha no desenvolvimento de mecanismos capazes de identificar situações desse tipo e orientar o comportamento de seu modelo Claude. A empresa também vem publicando pesquisas sobre as interações dos usuários com o sistema para aprimorar suas políticas e mecanismos de segurança.

Segundo a Anthropic, porém, não existe uma solução definitiva para esses problemas. Os riscos e as formas de uso da IA devem continuar mudando à medida que os modelos se tornam mais avançados e passam a desempenhar novas funções.

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

Programa busca criar padrões independentes

Com o programa de bolsas, a Anthropic pretende ampliar a participação de especialistas de diferentes áreas no desenvolvimento de métodos para avaliar o bem-estar proporcionado ou afetado pela inteligência artificial.

A empresa espera receber propostas de profissionais como médicos, psicólogos, pesquisadores e especialistas em metodologia. Os projetos serão desenvolvidos de forma independente e publicados como código aberto.

A Anthropic também divulgou recomendações para orientar a criação de avaliações consideradas mais rigorosas. Entre os critérios estão:

• definir claramente o que a avaliação pretende medir e quais critérios determinam um resultado positivo ou negativo;
• contar com especialistas clínicos e pesquisadores da área durante o desenvolvimento e a validação;
• avaliar tanto falhas por excesso de complacência quanto problemas causados por recusas excessivas do modelo;
• reproduzir situações próximas às formas reais de uso da IA, incluindo conversas longas nas quais o contexto e o nível de risco podem mudar;
• validar os critérios utilizados pelos avaliadores com especialistas da área.

A empresa afirma que o objetivo é criar referências que possam ser adotadas

Siga o Times Brasil - Licenciado Exclusivo CNBC no