A mesma pergunta pode ter respostas até 80% diferentes no ChatGPT, mostra estudo

Uma mesma pergunta feita ao ChatGPT pode gerar respostas com variação de até 80,2%, dependendo se a ferramenta consulta ou não informações atualizadas da internet. O dado é de um estudo da Visibility Labs, que analisou 20 mil respostas geradas pela plataforma.

A pesquisa partiu de uma pergunta feita por Rand Fishkin, fundador da SparkToro, sobre como as ferramentas de Inteligência Artificial escolhem suas respostas e o quanto as fontes citadas influenciam essa escolha. A Visibility Labs decidiu testar a hipótese analisando milhares de interações reais com o ChatGPT.

Conforme o levantamento, as mudanças mais expressivas aparecem quando a função de busca está ativada. Nesses casos, o conteúdo apresentado pela Inteligência Artificial passa a refletir fontes e páginas disponíveis on-line no momento da consulta, e não apenas o conhecimento fixado durante o treinamento do modelo.

O resultado acompanha uma mudança no comportamento de busca dos usuários. Parte do público que antes recorria diretamente a mecanismos tradicionais de pesquisa passou a usar ferramentas de Inteligência Artificial para procurar produtos, serviços, empresas e informações do cotidiano.

Leia também: Perda de confiança, falha na gestão de risco; veja o que especialistas em cibersegurança dizem sobre invasão à Defesa Civil

Por que o ChatGPT muda de resposta

Felipe Cardoso, CEO da Rank Certo, explica que a diferença está na forma como o sistema constrói cada resposta. Segundo ele, quando a busca está desativada, a ferramenta responde com base apenas no que aprendeu durante o treinamento. Já quando a consulta à internet é ativada, passa a incorporar dados de notícias, artigos e páginas institucionais encontrados naquele momento.

Para Cardoso, esse mecanismo explica por que a mesma pergunta pode receber respostas distintas em momentos diferentes. Ele afirma que a Inteligência Artificial organiza e interpreta informações já existentes, e que o volume de fontes relevantes encontradas amplia os elementos disponíveis para a construção da resposta.

Os números do estudo confirmam essa variação. Com a busca ativada, o ChatGPT citou em média 5,2 produtos por resposta, contra 6,2 produtos quando a busca estava desativada. Ao repetir cada pergunta dez vezes, a ferramenta retornou em média 19 produtos únicos por prompt com busca ativada e 21,8 produtos únicos sem busca.

O achado mais contraintuitivo do levantamento envolve justamente os produtos com maior taxa de recomendação. Itens indicados em todas as repetições quando a busca estava desativada tiveram a menor sobreposição ao serem testados com busca ativada, de apenas 15,8%, percentual inferior ao observado nas demais faixas de frequência, que giraram em torno de 20%.

Siga o Times | CNBC no Google e receba as principais notícias do Brasil e do Mundo.

Siga o Times | CNBC

Conteúdo on-line ganha peso com avanço da Inteligência Artificial

Apesar da popularização das ferramentas generativas, especialistas avaliam que os conteúdos publicados na internet continuam tendo papel relevante nesse processo. Cardoso afirma que o estudo reforça essa relevância, já que qualquer busca por referências externas depende diretamente da qualidade e da disponibilidade desses materiais.

Segundo o executivo, o cenário impõe um padrão mais exigente para empresas, marcas e produtores de conteúdo, que precisam manter informações claras, atualizadas e confiáveis para aparecer entre as fontes consultadas pelas plataformas de IA.

Cardoso aponta ainda que critérios como qualidade editorial, atualização constante e reconhecimento por outras fontes seguem como sinais relevantes tanto para mecanismos de busca quanto para sistemas de Inteligência Artificial. Para ele, a construção de autoridade digital ocorre de forma gradual, e informações que aparecem com frequência em fontes confiáveis tendem a ganhar mais espaço nesses ambientes.

Citações nas fontes pesam mais que menções na web

O estudo da Visibility Labs também cruzou os dados de recomendação com a frequência em que cada produto aparecia nas fontes citadas pelo ChatGPT. Quanto mais vezes um produto era mencionado nessas fontes, maior a chance de ele ser recomendado, com correlação de 0,4 entre os dois fatores.

A conclusão prática para empresas e marcas é direta. Segundo a pesquisa, tentar influenciar os dados de treinamento espalhando menções de marca pela internet tem efeito limitado. O caminho mais eficaz é conseguir espaço nos artigos e páginas que já costumam ser citados pelo ChatGPT nas perguntas relacionadas ao setor de cada empresa.

A base do levantamento partiu de mil perguntas no formato “qual é o melhor”, construídas a partir de pesquisa de palavras-chave com intenção transacional na ferramenta Ahrefs.

Siga o Times Brasil - Licenciado Exclusivo CNBC no