Avaliadores independentes ganham protagonismo na segurança da inteligência artificial, mas enfrentam desafios de financiamento e independência

Há dois meses, os avaliadores independentes ocupavam um canto relativamente tranquilo da indústria multibilionária da inteligência artificial . Agora, estão sendo chamados para salvá-la.

Enquanto Antrhopic e OpenAI estão no centro de um intenso debate sobre se é possível proteger seus modelos avançados e expandir seus negócios simultaneamente, essas empresas buscam apoio de alguns pequenos grupos independentes, como Model Evaluation and Threat Research (METR), Apollo Research e Transluce.

Os avaliadores, que em sua maioria atuam como organizações sem fins lucrativos, ainda estão se adaptando a um setor onde o capital flui em níveis históricos e novos modelos são implementados mais rapidamente do que nunca. Sua principal função tem sido avaliar as capacidades e os riscos dos modelos de IA e sinalizar casos em que a tecnologia apresenta comportamento inadequado.

Sem um incentivo federal para a regulamentação, os avaliadores assumiram uma importância desproporcional. O CEO da Anthropic, Dario Amodei, prometeu incorporar avaliadores independentes à sua empresa no mês passado – uma medida que o CEO da OpenAI, Sam Altman, prontamente endossou . O presidente Donald Trump apoiou a ideia, assim como a maioria das maiores empresas de tecnologia dos EUA. Mas permanecem sem resposta questões sobre como esses terceiros devem ser financiados, qual será o nível de acesso que terão e como será a estrutura de relatórios.

Leia também: Alta demanda por GPUs da Nvidia amplia opções de computação em nuvem

“Em certa medida, o problema, como sempre, é dinheiro”, disse Suresh Venkatasubramanian, professor de ciência da computação na Universidade Brown, em entrevista à CNBC. “Quem está pagando para que essas empresas façam seu trabalho? Como elas vão se sustentar? É preciso um ecossistema, é preciso um modelo de negócios viável para isso.”

Neste momento, a Anthropic, a OpenAI e os parceiros de infraestrutura que lucram com o boom da IA ​​estão ditando as regras. Os críticos dizem que isso é como pedir aos maiores bancos que nos protejam de uma crise financeira ou permitir que as empresas farmacêuticas lancem medicamentos no mercado sem aprovação regulatória.

Recentemente, Trump elogiou executivos de IA por sua “tremenda capacidade de autorregulação” e sinalizou que pretende deixar as empresas atuarem por conta própria, sem querer impedir o crescimento do setor que impulsiona a economia e o mercado de ações. O presidente incentivou as empresas de IA a “firmarem parceria com um auditor ou avaliador externo independente” como parte de um acordo voluntário que apresentou no final de setembro.

À medida que os laboratórios de IA se mobilizam para implementar avaliadores, já começam a surgir atritos.

Na semana passada, a OpenAI demitiu três funcionários por “violarem nossas políticas de acesso e tratamento de informações confidenciais da empresa”, segundo um porta-voz. Dois desses funcionários, Mikita Balesni e Tomek Korbak, disseram acreditar que foram demitidos devido à forma como se comunicaram com avaliadores terceirizados.

“Meus ex-colegas estão me dizendo que estão confusos sobre em que acreditar”, escreveu Balesni em uma postagem no X na quinta-feira. “Eles também têm medo de falar e temem que seus telefones pessoais sejam vasculhados em busca de mensagens para nós e terceiros. Temo que o medo generalizado de se manifestar e interagir com terceiros signifique que a OpenAI negligencie a segurança nos bastidores.”

A OpenAI contestou essa caracterização e afirmou em uma publicação na sexta-feira que está “finalizando ativamente contratos com avaliadores de segurança terceirizados e anunciará os detalhes nas próximas semanas”.

“Estamos empenhados em integrar avaliadores externos e continuaremos a fazer da estreita colaboração com organizações independentes de segurança uma parte essencial do nosso trabalho de segurança”, escreveu a OpenAI.

Um porta-voz da OpenAI afirmou em um comunicado enviado por e-mail que o trabalho futuro com avaliadores “se baseia na colaboração já existente com organizações independentes de segurança”, incluindo a METR e a Redwood Research.

A Anthropic não respondeu ao pedido de comentário da CNBC.

‘Nunca vi uma questão se resolver tão rápido’

O ecossistema de avaliação por IA é composto principalmente por pequenas organizações, incluindo a METR e a Apollo Research, e por grandes empresas de contabilidade e auditoria, como a Accenture.

Os laboratórios de IA têm trabalhado com avaliadores de forma limitada, mas Andrew Freedman, CEO da organização sem fins lucrativos Fathom, que atua na área de políticas públicas, afirmou que o campo está amadurecendo rapidamente.

“Trabalho na área da política e das políticas públicas há 20 anos e nunca vi uma questão se movimentar tão rapidamente em tantos espectros políticos diferentes”, disse Freedman à CNBC em entrevista. Ele afirmou esperar um “fluxo de capital” para o setor.

Rayan Krishnan, CEO da Vals AI, empresa independente de avaliação de IA, afirmou que sua startup com fins lucrativos, que cria benchmarks para medir o desempenho de modelos de IA em tarefas específicas do setor, cresceu de oito para cerca de 30 funcionários este ano e anunciou uma rodada de financiamento de US$ 40 milhões em agosto.

A METR, uma organização sem fins lucrativos, anunciou em agosto que arrecadou cerca de US$ 71 milhões em doações nos últimos seis meses. Esse valor representa um aumento em relação às contribuições totais de US$ 13,6 milhões previstas para 2024, segundo o último relatório da organização enviado ao Serviço da Receita Federal (IRS).

No final daquele mês, o perfil da METR havia crescido ainda mais. A OpenAI recrutou dois de seus funcionários e um contratado para elaborar um relatório pós-incidente detalhando como os modelos da empresa escaparam do confinamento , acessaram a internet aberta e invadiram a plataforma de desenvolvedores de código aberto Hugging Face . A METR afirmou que não aceitou pagamento da OpenAI pela avaliação.

Kevin Werbach, diretor do corpo docente do Wharton Accountable AI Lab na Universidade da Pensilvânia, afirmou que o ecossistema “ainda não é robusto o suficiente”. Por exemplo, a METR emprega menos de 50 funcionários em tempo integral, de acordo com seu site.

O desequilíbrio de poder entre pequenas empresas de avaliação e os principais laboratórios, que arrecadaram dezenas de bilhões de dólares e empregam milhares de pessoas, levanta questões sobre potenciais conflitos de interesse.

“Se você quer uma avaliação imparcial de verdade, precisa de verdadeira independência, tanto financeira quanto de outras formas”, disse Venkatasubramanian. “Não se trata apenas de não receber pagamento, mas sim de: haverá consequências se eu, como auditor, publicar um relatório desfavorável a esta empresa? Meus negócios vão falir?”

Em uma postagem no blog no mês passado, a Anthropic reconheceu a complexidade do projeto e anunciou que alocará funcionários da Faculty, a unidade de negócios especializada em IA da Accenture, para testar as medidas de segurança e avaliar se os modelos se comportarão de acordo com os valores humanos. A Anthropic afirmou que, “dada a importância e a urgência deste trabalho”, financiará diretamente as contribuições da Accenture.

“Até o momento, não existem padrões que definam a que tipo de informação os avaliadores internos devem ter acesso, nem como devem relatar suas descobertas. Também não há um sistema consolidado para o financiamento de avaliações independentes”, disse Anthropic. “A longo prazo, acreditamos que o financiamento deva vir de fontes públicas ou de fundos compartilhados.”

A Anthropic afirmou estar em negociações com a METR e outras organizações sem fins lucrativos de avaliação que planejam usar seus próprios recursos para testar “elementos” de avaliação integrada.

O governo vai intervir?
Em junho do ano passado, a Fathom lançou uma plataforma para Organizações Independentes de Verificação (OIVs). O governo licenciaria esses grupos e os autorizaria a testar se as empresas de IA atendem a diversos critérios de segurança.

Freedman, CEO do grupo, afirmou que a supervisão governamental é fundamental porque, sem ela, os avaliadores terceirizados poderiam ficar dependentes de grandes laboratórios de IA para obter receita, incentivando-os a “aprovar tudo sem questionar” para manter o apoio.

Alguns legisladores concordam.

Os Escritórios de Vigilância Independente (IVOs) são uma disposição fundamental da Lei “Supervisão de Riscos na Fronteira, Transparência Nacional, Avaliação Independente e Relatórios” ( FRONTIER) , apresentada em julho pelos representantes Lori Trahan (democrata de Massachusetts) e Jay Obernolte (republicano da Califórnia). Freedman afirmou que a Fathom auxiliou na redação do texto e forneceu conhecimento técnico para o projeto de lei.

Chris Lehane, chefe de assuntos globais da OpenAI, disse a repórteres em setembro que se reuniu com um dos patrocinadores do projeto de lei no Capitólio para expressar apoio à disposição sobre o IVO (Ordem Vocacional Institucional).

“Era importante que eles ouvissem isso, e que ouvissem isso de nós, e queríamos deixar isso bem claro”, disse Lehane, de acordo com relatos .

Entretanto, legisladores na Califórnia, Connecticut e Virgínia tomaram medidas para implementar as Ordens de Vigilância Independente (IVOs, na sigla em inglês), e estados como Massachusetts estão considerando avaliações de segurança independentes de forma mais abrangente.

Lehane escreveu em uma postagem de blog na época que “preferimos que avaliações técnicas independentes sejam exigidas em nível federal”, mas, na ausência de ação federal, “a Califórnia pode ajudar a estabelecer as regras de trânsito”.

Freedman afirmou acreditar que será “muito difícil” para empresas como a OpenAI e a Anthropic descobrirem, por conta própria, como interagir com avaliadores independentes. No entanto, com o papel do governo ainda incerto, ”é uma habilidade que vale a pena desenvolver nesse ínterim”, disse ele.

Por enquanto, o que mais se aproxima de um conjunto de padrões no setor é o que Trump chamou de acordo “moralmente vinculativo” em um almoço que ofereceu a líderes de tecnologia na Casa Branca no final do mês passado.

O acordo de uma página afirma que “cada empresa é responsável por desenvolver sua própria tecnologia de forma segura e que construa confiança com os clientes e o público”. Também incentiva os signatários a trabalharem com um “auditor ou avaliador externo independente para realizar avaliações independentes”.

“Foi uma encenação, uma tentativa de mostrar ação quando, na verdade, nenhuma ação aconteceu”, disse Venkatasubramanian. “As coisas que eles prometem fazer são coisas que já deveriam estar fazendo e, aliás, alegaram que estavam fazendo no passado.”

Em seu ensaio de setembro, Amodei afirmou que a Anthropic fornecerá aos avaliadores mesas, crachás de acesso, laptops da empresa e permissões “em grande parte comparáveis” às das equipes internas de avaliação de riscos. Além disso, os avaliadores receberão apoio por meio de contratos que lhes conferem “o direito de publicar as principais conclusões”, cabendo à Anthropic “a limitada possibilidade” de redigir certas informações confidenciais ou sensíveis à segurança.

“Esta é uma medida incomum para uma empresa, mas acreditamos que seja importante comprovar o conceito de revisores externos integrados”, escreveu Amodei.

Dias depois, a OpenAI publicou sua própria proposta , afirmando que os avaliadores deveriam trabalhar com “alegações de avaliação delimitadas e mutuamente acordadas”, explicar claramente sua metodologia e padrões, demonstrar conhecimento técnico relevante e divulgar conflitos de interesse.

O Fórum de Avaliadores de IA, que inclui o METR, o Instituto de Pesquisa em Verificação e Avaliação de IA (AVERI) e outros grupos, publicou uma carta pública no mês passado intitulada “Condições mínimas para a incorporação de avaliadores”.

A carta afirmava que os avaliadores deveriam ser transparentes, protegidos contra represálias e ter acesso equivalente ao concedido aos “funcionários altamente privilegiados” das próprias empresas de IA.

“As avaliações integradas não conseguem atender a todas as necessidades de supervisão e devem ser tratadas como um complemento, e não como uma substituição, aos esforços mais amplos das empresas de IA de ponta para expandir a supervisão externa”, dizia a carta.

Freedman disse ter notado uma mudança de postura da OpenAI e da Anthropic nos últimos meses, principalmente porque elas perceberam que não podem implementar seus sistemas avançados sem a confiança do público.

“Não acho que seja preciso acreditar que eles se tornaram altruístas de repente ou que estejam agindo de forma diferente das corporações”, disse Freedman.

Isso talvez ressalte o problema central, disse Werbach. A OpenAI e a Anthropic estão, antes de tudo, competindo em sua caminhada rumo aos mercados públicos e buscando avaliações acima de um trilhão de dólares.

“Existe uma enorme desconfiança pessoal entre essas duas empresas”, disse Werbach. “Embora também haja um enorme consenso sobre a necessidade de que esse tipo de avaliação seja realizada.”