Anthropic compartilha 3 métricas para ajudar empresas de IA a monitorar ritmo de desenvolvimento

A empresa Anthropic está compartilhando três novas métricas que, segundo ela, podem ajudar as empresas de inteligência artificial a monitorar o ritmo de desenvolvimento, dias depois do CEO Dario Amodei ter abalado o setor ao pedir uma desaceleração coordenada.

Em uma postagem no blog na quinta-feira, a empresa afirmou ter mensurado a pesquisa e o desenvolvimento orientados por IA, a supervisão de agentes de IA e a alocação de recursos computacionais dentro da Anthropic, e compartilhou as metodologias para incentivar outras organizações a fazerem o mesmo. As métricas se baseiam no plano de desaceleração em três etapas que Amodei publicou no sábado, o qual não apresentou muitos detalhes sobre o que uma implementação prática incluiria.

“Enquanto o mundo considera explorar as fronteiras da inteligência artificial, devemos fazer todo o possível para minimizar a lacuna entre o que os laboratórios de ponta sabem e o que o público sabe”, disse Anthropic na publicação de quinta-feira. “Isso significa medir melhor o desenvolvimento da IA, divulgá-lo publicamente e dar à sociedade a oportunidade de decidir como usar essas informações.”

O apelo de Amodei por uma desaceleração durante o fim de semana recebeu apoio de líderes do setor, incluindo a OpenAI.
Sam Altman , CEO da SpaceX ,Elon Musk e o presidente do Google DeepMind, Demis Hassabis, anunciaram a decisão após alertas contundentes de pesquisadores sobre o crescente potencial da IA ​​para causar danos. Amodei afirmou que seu plano visa moderar a velocidade com que as capacidades dos modelos melhoram sem “sacrificar a vantagem comercial ou a liderança dos Estados Unidos em IA”.

Em sua primeira métrica, a Anthropic afirmou ter determinado que seus modelos Claude “não operam de forma totalmente autônoma” para qualquer subconjunto do trabalho de pesquisa e desenvolvimento que mediu.

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

A segunda métrica envolveu a construção de um sistema para supervisionar e intervir nas ações realizadas por agentes de IA. Ela determinou que aproximadamente 30.000 agentes estavam realizando trabalhos de pesquisa e engenharia em sua plataforma interna mais utilizada, a qualquer momento.

Para sua terceira métrica, a Anthropic mediu um “instantâneo” de como utilizou toda a sua capacidade computacional entre 13 e 20 de julho. A empresa afirmou ter constatado que aproximadamente 6% da capacidade computacional destinada à pesquisa e desenvolvimento em IA foi alocada para segurança. Cerca de 12% da capacidade computacional alocada para pesquisa e desenvolvimento “orientados por IA” foi destinada à segurança, segundo a empresa.

Anthropic afirmou que essas métricas são as mais adequadas para ajudar a demonstrar como os modelos são construídos e que devem complementar as avaliações de capacidade, que mostram “o que os modelos podem fazer”. Em conjunto, Anthropic disse que terceiros fora do laboratório devem ter um “ponto de partida” para avaliar o ritmo do desenvolvimento da IA.

“Esperamos servir de modelo para essa transparência ao divulgar essas medições, e continuaremos a fazê-lo”, disse Anthropic.

Siga o Times Brasil - Licenciado Exclusivo CNBC no