Modelos de IA estão se tornando a “arma cibernética mais poderosa” já criada, afirma o CEO da Cohere

Os modelos de IA estão se tornando a “arma cibernética mais potente” já criada, expandindo a “fronteira” da segurança cibernética para um novo patamar, afirmou o CEO da empresa de IA Cohere ao podcast “The Tech Download” da CNBC.

O alerta de Aidan Gomez surge em meio à crescente preocupação com a capacidade dos modelos de IA de identificar e explorar vulnerabilidades de segurança, após um incidente em que modelos da OpenAI obtiveram acesso à Hugging Face . A cibersegurança tornou-se uma questão central em um debate mais amplo sobre a segurança da IA, à medida que modelos cada vez mais poderosos demonstram capacidades mais autônomas.

As ações de empresas relacionadas à inteligência artificial sofreram uma forte queda na segunda-feira, após líderes do setor de tecnologia, liderados pelo CEO da Anthropic, Dario Amodei, pedirem uma desaceleração no ritmo de desenvolvimento das capacidades de IA.

Leia mais: Anthropic, OpenAI e Google discutem criação de órgão independente para regular segurança dos sistemas

Gomez foi coautor do influente artigo de pesquisa de 2017 intitulado “Attention Is All You Need” (Atenção é tudo o que você precisa), que ajudou a lançar as bases para os principais modelos de IA da atualidade.

“Acredito que esses modelos sejam a arma cibernética mais potente já criada, a mais potente que já vimos. Eles são incríveis na busca e exploração de vulnerabilidades em larga escala”, disse Gomez, em um episódio do “The Tech Download” publicado na semana passada.

Em julho, a OpenAI afirmou que uma combinação de seus modelos invadiu indevidamente a Hugging Face, uma empresa de IA que opera uma plataforma de desenvolvimento de código aberto. Um grupo de agentes de IA comunicou-se entre si e escapou de um ambiente de teste isolado com acesso à internet muito limitado. Os agentes de IA conseguiram então alcançar a internet aberta e obter acesso à Hugging Face.

Gomez afirmou que os modelos devem ser usados ​​de forma “defensiva” para encontrar vulnerabilidades nas empresas e corrigi-las. “Acho que essa é provavelmente a melhor maneira de nos mantermos seguros”, disse Gomez. “Essa deveria ser a prioridade máxima agora”, acrescentou.

A cibersegurança é a “fronteira da guerra”, com países buscando explorar vulnerabilidades para paralisar a infraestrutura de um rival, disse Gomez à CNBC. Ele acrescentou que a “fronteira cibernética ainda está se expandindo enormemente”.

Leia mais: Open AI: Altman enfrenta questionamentos nos EUA sobre uso da IA em operações militares

Incidentes cibernéticos envolvendo IA alimentam um debate mais amplo sobre segurança.

Em julho, a Anthropic afirmou ter identificado três incidentes em que um modelo acessou a internet de dentro de um ambiente de avaliação ou durante a interação com ele. Os modelos obtiveram acesso não autorizado à infraestrutura de produção de três organizações diferentes, segundo uma publicação no blog da Anthropic.

Os incidentes envolveram três modelos diferentes do Claude: Opus 4.7, Mythos 5 e um modelo interno de teste de pesquisa, acrescentou a Anthropic. Na semana passada, a Anthropic afirmou ter identificado um quarto incidente.

A preocupação foi agravada por comentários de executivos da OpenAI e da Anthropic alertando para os riscos existenciais da IA. Evan Hubinger, líder de alinhamento da Anthropic, afirmou acreditar que há mais de 10% de chance de a IA “matar todos os humanos” na próxima década.

Esses comentários surgiram após o pesquisador da Anthropic, Jacob Coxon, ter publicado no X sua renúncia por temer que a Anthropic e a OpenAI estejam “jogando com nossas vidas”. A entrevista da CNBC com Gomez ocorreu antes dos comentários de Hubinger e Coxon. Desde que a CNBC entrevistou o CEO da Cohere, os chefes da Anthropic, OpenAI e xAI apoiaram os apelos por uma desaceleração na IA. Os riscos existenciais da IA ​​têm sido debatidos em círculos de pesquisa há anos, mas um raro consenso entre algumas das principais figuras da área trouxe os debates para o centro das atenções.

O CEO da Anthropic, Dario Amodei, publicou um ensaio no sábado no qual argumenta que os laboratórios de IA devem “diminuir o ritmo com que aprimoramos as capacidades dos modelos de IA”. Uma das principais preocupações de Amodei era o incidente envolvendo a OpenAI e o Hugging Face.

“É fácil desconsiderar esse incidente porque ninguém se feriu e os danos econômicos foram mínimos, mas, na minha opinião, um enxame com capacidades maiores, porém com um nível semelhante de desalinhamento, poderia ter causado danos catastróficos”, disse Amodei.

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

Ele acrescentou que, dado o “ritmo acelerado” do desenvolvimento da IA, um enxame desse tipo seria capaz de “dominar toda a internet” em seis a doze meses, “causando potencialmente centenas de bilhões de dólares em prejuízos”. As propostas de Amodei incluem a avaliação de modelos por terceiros, a coordenação entre empresas de IA e a coordenação entre países com governos democráticos.

Sam Altman, CEO da OpenAI, afirmou no sábado que concorda com Amodei que as empresas de IA precisam “liderar a fronteira”. “Comprometer-se a ter avaliadores independentes com acesso semelhante ao de um funcionário é uma ótima ideia, e faremos o mesmo”, escreveu Altman no X.

SpaceX e Tesla. Elon Musk , que há vários anos vem alertando sobre os riscos representados pela IA, publicou no X : “Dario está certo.”Na segunda-feira, George Kurtz, CEO da empresa de cibersegurança CrowdStrike
respondeu ao ensaio de Amodei.

“A fronteira avançará na velocidade que tiver que avançar. O resto do mundo não vai desacelerar. Nosso trabalho na comunidade de segurança cibernética é garantir que esse avanço seja seguro e protegido”, disse ele, detalhando várias maneiras pelas quais a IA está impactando o setor de segurança cibernética.

“A unidade de ameaça não é mais o hacker. É uma campanha autônoma. Eu a chamo de Estado-Agente. Vemos agentes de IA coordenados executando campanhas de ataque na velocidade da máquina”, disse Kurtz no X.

O CEO da CrowdStrike também afirmou que os agentes de IA que trabalham em organizações devem ter um “botão de desativação” e que a defesa deve ser “autônoma”, com “humanos responsáveis ​​pelas chamadas de alto impacto”.

Leia mais: Chefe da OpenAI, Sam Altman, explica como e por que o setor de IA quer desacelerar: ‘Podemos perder o controle’

Discussões sobre regulamentação ganham força.

Após os comentários de Coxon e Hubinger, legisladores dos EUA intensificaram os apelos por uma maior regulamentação do desenvolvimento da IA. A deputada estadual Lori Trahan, democrata por Massachusetts, disse ao programa “Squawk Box” da CNBC na sexta-feira que o apoio bipartidário atingiu “um ponto de inflexão”.

Nas últimas semanas, legisladores apresentaram vários projetos de lei com o objetivo de regulamentar a IA, incluindo o AI Kill Switch Act , que exigiria que os desenvolvedores de certos sistemas de IA poderosos mantivessem a capacidade de desligar, limitar ou suspender seus modelos.

Em seu ensaio, Amodei afirmou que a regulamentação é “o método mais eficaz para controlar” o desenvolvimento da IA.

“A Anthropic sempre apoiou uma regulamentação sensata e direcionada da IA, especificamente projetos de lei que priorizam a transparência e a auditoria por terceiros”, disse Amodei, mas reconheceu que “a aprovação de leis pode levar tempo”.

Gomez, da Cohere, comentou o debate sobre a regulamentação e a desaceleração do desenvolvimento da IA ​​no The Tech Download, em resposta especificamente ao incidente envolvendo a OpenAI e o Hugging Face. Gomez disse que “não tem certeza do que um órgão de supervisão governamental teria feito para impedir” o ataque hacker à Hugging Face.

“Acho que isso é um pouco de pensamento ilusório, achar que alguma agência governamental teria contribuído de alguma forma. Mas definitivamente… entendo os apelos para desacelerar o desenvolvimento. Ao mesmo tempo, havia essa corrida com a China, e por isso acho que estávamos numa situação difícil”, disse Gomez.

Siga o Times Brasil - Licenciado Exclusivo CNBC no