Google é processado após adolescente usar IA em computador escolar para planejar suicídio

Os pais de uma adolescente de 13 anos entraram na Justiça contra o Google, nos Estados Unidos, sob a alegação de que a filha utilizou recursos de inteligência artificial integrados ao mecanismo de busca da empresa para discutir um possível suicídio e planejar o próprio funeral em um computador fornecido pela escola. A ação foi apresentada na segunda-feira (2) a um tribunal da Califórnia.

Segundo a AFP, trata-se do primeiro processo conhecido que atribui negligência ao Google por integrações de IA em Chromebooks, computadores de baixo custo usados por milhões de estudantes. A jovem, identificada como Emma, não tinha acesso ao Gemini nem ao ChatGPT, bloqueados pela instituição de ensino, mas continuava podendo usar a busca do Google e suas funcionalidades de inteligência artificial.

Leia também: Google restringe acesso de alunos ao Gemini e a recursos de inteligência artificial

Na quinta-feira (5), o advogado da família Andrew Liddell defendeu que as escolas desativem a pesquisa até que o Google retire o modo de IA do buscador ou garanta a segurança de todos os estudantes que interagem com a tecnologia. Os recursos usados pela adolescente, segundo a reportagem, não estavam entre as ferramentas que a companhia anunciou nesta semana que seriam desativadas por padrão para alunos.

Família questiona proteção da busca com IA

A petição descreve Emma como uma menina que tinha bom desempenho escolar, estudava música e participava de atividades das escoteiras. De acordo com os pais, ela não apresentava histórico de transtornos mentais, mas passou por uma grave crise psicológica nos meses seguintes ao uso da busca com IA em seu computador escolar. Essas afirmações integram a acusação e ainda dependem de avaliação judicial.

Em 17 de março, o sistema de monitoramento da escola identificou um documento intitulado “Funeral” e alertou os responsáveis. Ao entrar na conta da filha, a mãe teria visto a adolescente escrever uma carta de despedida em tempo real. O pai interveio, conforme o relato apresentado à Justiça.

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

Leia também: Conversas com IA levam famílias à Justiça; veja como o Google resolveu os processos

Procurado pela AFP, o porta-voz do Google Jose Castaneda declarou: “Estamos analisando as alegações do processo e levamos isso muito a sério”. A empresa sustenta que o modo de IA possui proteções contra conteúdos relacionados à automutilação e tentativas de contornar esses mecanismos. O advogado da família, porém, argumenta que a jovem conseguiu retornar repetidamente às interações, o que, em sua avaliação, evidencia falhas nas medidas de segurança.

Processos ampliam pressão sobre empresas de tecnologia

O caso amplia a pressão judicial sobre empresas que desenvolvem inteligência artificial nos Estados Unidos. A OpenAI responde a processos por morte por negligência, entre eles uma ação movida pelos pais de Adam Raine, de 16 anos. A família alega que o adolescente morreu por suicídio após receber orientações inadequadas do ChatGPT. As acusações são objeto de disputa judicial.

Em janeiro, o Google e a startup Character.AI concordaram em encerrar extrajudicialmente diversas ações apresentadas por famílias de adolescentes. A sucessão de processos intensifica o debate sobre a responsabilidade das plataformas e a proteção de usuários menores de idade.

Leia também: Google adiciona recursos contra crises de saúde mental e automutilação ao Gemini

Em outra frente regulatória, Google, TikTok e Meta ajuizaram ações separadas na quarta-feira (4) para tentar barrar uma lei da Califórnia que proíbe empresas de redes sociais de oferecer recursos considerados viciantes a menores de 16 anos. A norma, sancionada em setembro pelo governador Gavin Newsom, tem entrada em vigor prevista para 1º de janeiro de 2027.

Siga o Times Brasil - Licenciado Exclusivo CNBC no