EXCLUSIVO CNBC: Presidente da Cisco alerta para risco de decisões equivocadas de agentes de inteligência artificial

A expansão dos agentes de inteligência artificial exige novos mecanismos de segurança capazes de acompanhar a velocidade e a escala em que essas tecnologias operam. A avaliação é de Jeetu Patel, presidente e Chief Product Officer da Cisco, em entrevista exclusiva à CNBC.

Segundo Patel, a inteligência artificial está avançando de sistemas baseados em chatbots para agentes capazes de executar tarefas e trabalhos de forma quase autônoma.

Com isso, aumenta também o risco de decisões equivocadas, o que exige mecanismos de supervisão contínua.

“Os agentes são como adolescentes. Eles são supremamente inteligentes, mas não temem as consequências. E eles tomam decisões ruins e fazem julgamentos equivocados com uma frequência maior do que gostaríamos”.

Para o executivo, os agentes não podem operar sem mecanismos de controle. A supervisão precisa incluir ferramentas capazes de acompanhar o comportamento dos sistemas e interromper suas ações quando forem identificados desvios.

O desafio aumenta diante da possibilidade de milhares, milhões ou até bilhões de agentes operando simultaneamente. Para Patel, esse volume inviabiliza uma abordagem baseada exclusivamente em supervisão humana.

“Quando os ataques ou decisões equivocadas dos agentes estão acontecendo em escala de máquina, suas defesas também precisam estar em escala de máquina. Escala humana não funciona”.

Patel também considera que a própria inteligência artificial terá papel importante na segurança dos sistemas. Segundo ele, empresas que não utilizarem IA em cibersegurança podem ficar mais vulneráveis justamente à medida que os ataques passam a utilizar tecnologias semelhantes.

A discussão ocorre em meio ao debate sobre o ritmo de desenvolvimento dos modelos de inteligência artificial. Patel afirma que a resposta aos riscos não deveria ser necessariamente uma desaceleração da inovação, mas uma aceleração dos mecanismos de segurança.

“Acho que deveria haver uma aceleração na segurança para acompanhar o ritmo com que a IA está evoluindo, em vez de pensar em desaceleração”, afirmou.

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

O executivo reconhece, porém, que uma eventual desaceleração coordenada poderia gerar implicações competitivas entre países.

Segundo ele, caso apenas algumas nações reduzam o ritmo de desenvolvimento, elas poderiam perder espaço para concorrentes que continuassem avançando.

Patel defendeu ainda mecanismos de avaliação cruzada entre diferentes modelos de IA. A proposta é que sistemas desenvolvidos por empresas distintas possam verificar o comportamento e a segurança uns dos outros.

Ele citou como exemplo a possibilidade de um modelo da Anthropic avaliar sistemas de outras empresas, como xAI ou OpenAI, e vice-versa. Na visão do executivo, os resultados desses testes poderiam ser publicados e submetidos ao escrutínio público.

A cooperação internacional também poderia ajudar a estabelecer padrões de segurança para agentes de IA, inclusive envolvendo países como a China.

Segurança e competitividade não são objetivos necessariamente incompatíveis. De um lado, agentes autônomos representam riscos que precisam ser controlados. De outro, a capacidade de desenvolver inteligência artificial e gerar tokens de forma eficiente pode ter impacto direto sobre a competitividade econômica dos países.

“Essas não são condições mutuamente exclusivas. Ambas podem, na verdade, ser verdadeiras ao mesmo tempo”, afirmou.

Um dos desafios citados por Patel é diferenciar uma ação maliciosa provocada externamente de uma decisão equivocada tomada pelo próprio agente.

Um sistema pode ser alvo de um ataque de injeção de prompt, por exemplo, ou simplesmente interpretar de maneira inadequada o objetivo que recebeu.

Para lidar com esse cenário, será necessário combinar diferentes tecnologias e conjuntos de dados capazes de identificar comportamentos anômalos e antecipar riscos.

Siga o Times Brasil - Licenciado Exclusivo CNBC no