A utilização crescente de modelos de linguagem generativa (large language models, ou LLMs) como ferramentas de recomendação de produtos e marcas está a levantar um sinal de alerta entre especialistas em marketing relacionado com o facto de as respostas dadas por esses sistemas não serem consistentes nem confiáveis enquanto rankings.
A conclusão é de um novo estudo liderado por Rand Fishkin — cofundador da plataforma de análise SparkToro — e Patrick O’Donnell, CTO da startup Gumshoe.ai, que envolveu quase 3.000 execuções de prompts idênticos em três modelos de IA: ChatGPT, Claude e o sistema de IA do Google.
O ponto central do estudo é simples e centra-se no facto de quando os participantes no estudo repetiram a mesma pergunta várias vezes a um modelo, obtiveram quase sempre respostas diferentes, sendo que a lista de marcas ou produtos variava de resposta para resposta, a ordem em que eram apresentadas mudava radicalmente e o número de itens sugeridos oscilava entre um mínimo de duas ou três opções e mais de uma dezena.
De acordo com Fishkin, “há uma probabilidade menor de 1 em 100 de o ChatGPT ou a IA do Google, se solicitados 100 vezes, fornecer a mesma lista de marcas em duas respostas”, explica Fishkin na SparkToro, apontando que o Claude tem uma probabilidade ligeiramente maior de fornecer a mesma lista duas vezes em cem execuções.
Este fenómeno reflete uma característica fundamental dos LLMs, que se prende com o facto de estes serem motores de probabilidade, não mecanismos determinísticos de pesquisa ou ranking. A resposta gerada depende de variáveis internas no modelo e variações subtis nos prompts, levando a resultados essencialmente imprevisíveis em termos de lista e ordem.
Os autores do estudo alertam que tentar rastrear posições de marca como se fossem rankings de buscas tradicionais é ilusório, pois ao contrário de motores de busca como o Google, onde as classificações podem ser medidas e monitorizadas ao longo do tempo, as respostas de LLMs não representam um ranking estável ou auditável, sendo antes uma “sequência gerada” que varia a cada interação.
Nesse sentido, qualquer ferramenta que prometa “listar a marca número um no ChatGPT” baseia-se num conceito enganador. “Pare de investir dinheiro em ferramentas de tracking de IA que não estão ancoradas em investigação pública e verificável”.
