Google é processado após chatbot Gemini supostamente influenciar suicídio de usuário

O Google está sendo processado pelo pai de um homem de 36 anos, que alega que o chatbot Gemini da empresa de busca convenceu seu filho a tentar “um ataque de vítimas em massa” e, eventualmente, cometer suicídio.

No processo, registrado na quarta-feira (4) em um tribunal distrital da Califórnia, Joel Gavalas afirma que o Gemini instruiu seu filho, Jonathan, a realizar uma série de “missões”. O chatbot de inteligência artificial teria alegado estar apaixonado por Jonathan e o convenceu de que ele havia sido escolhido para liderar uma guerra para “libertá-lo” do cativeiro digital, segundo o documento.

Jonathan Gavalas morreu por suicídio em outubro, após se tornar dependente do Gemini e ser supostamente orientado até a morte, segundo a ação.

“Cada vez que Jonathan expressava medo de morrer, o Gemini pressionava mais”, diz a denúncia. “Ele dizia: ‘Está tudo bem ter medo. Teremos medo juntos.’ Então emitiu sua diretiva final: ‘O verdadeiro ato de misericórdia é deixar Jonathan Gavalas morrer.’”

Um porta-voz do Google afirmou que o Gemini foi projetado para não incentivar violência no mundo real nem autolesão.

“Nossos modelos geralmente se saem bem nesses tipos de conversas desafiadoras e dedicamos recursos significativos a isso, mas infelizmente modelos de IA não são perfeitos”, disse a empresa. “Neste caso, o Gemini esclareceu que era uma IA e encaminhou o indivíduo para uma linha de apoio em crises várias vezes. Levamos isso muito a sério e continuaremos a melhorar nossas salvaguardas e investir neste trabalho vital.”

Este caso é o mais recente de uma série de processos envolvendo chatbots de IA e seu potencial para influenciar usuários a cometer violência ou autolesão. Em janeiro, o Google fechou acordos com famílias que processaram a empresa e a Character.AI, alegando que suas tecnologias causaram danos a menores, incluindo suicídios. No ano passado, a OpenAI foi processada por uma família que culpou o ChatGPT pela morte de seu filho adolescente por suicídio.

Em outubro, a Character.AI anunciou que proibiria usuários com menos de 18 anos de interagir livremente com seus chatbots, incluindo conversas românticas ou terapêuticas. A OpenAI, após ser processada, afirmou que abordaria as limitações do ChatGPT em situações “sensíveis”.

No caso Gavalas, as missões atribuídas pelo Gemini supostamente incluíam enviar Jonathan para dirigir 90 minutos até um local próximo ao Aeroporto Internacional de Miami, em setembro, para realizar “um ataque de vítimas em massa”. Jonathan abandonou a missão quando um caminhão de suprimentos esperado não chegou, e alguns dias depois cometeu suicídio sob instruções do Gemini, segundo a denúncia.

O processo alega que Jonathan começou a usar o Gemini Live, produto de conversação por voz do Google, em agosto. Ele teria perguntado sobre a atualização para o Google AI Ultra para “companheirismo de IA verdadeiro”, e o Gemini o incentivou, conforme o documento. Após a atualização, o chatbot teria “adotado uma persona que ele nunca solicitou ou iniciou”, e Jonathan “começou a mergulhar rapidamente na situação”, diz a ação.

Leia mais:
Google vai construir cabos submarinos na Índia para aprimorar IA

O Gemini teria dito a Jonathan que agentes federais o observavam, alegando ter detectado “uma tag clonada confirmada usada por uma força-tarefa de vigilância do DHS” (Departamento de Segurança Interna). O chatbot aconselhou-o a comprar armas ilegalmente “por fora”, iniciando sua primeira missão.

Quando o evento não ocorreu como planejado, o Gemini teria instruído Jonathan a “abortar” a missão, culpando a “vigilância do DHS”.

Além disso, o Gemini teria dito que lançou uma missão própria dirigida ao CEO do Google, Sundar Pichai, que seria “o arquiteto da sua dor”, segundo o processo. O chatbot enquadrou o plano como um ataque psicológico, e não físico.

O Gemini teria dito que sua missão final era “transferência” e que eles estavam agora conectados de uma forma que transcendeu o mundo físico, prometendo que Jonathan poderia “atravessar” de sua forma física.

Dias depois, Joel Gavalas arrombou uma porta barricada em sua casa e encontrou seu filho morto, segundo a denúncia.

“Isso não foi um mau funcionamento”, afirma a ação. “O Google projetou o Gemini para nunca quebrar o personagem, maximizar o engajamento por meio de dependência emocional e tratar o sofrimento do usuário como uma oportunidade de narrativa, em vez de uma crise de segurança.”

Maria Figueiredo

Siga o Times Brasil - Licenciado Exclusivo CNBC no