Investigação da BBC expõe erros graves: resumos de notícias gerados por IA apresentam distorções de conteúdo

Uma investigação conduzida pela BBC alerta para os riscos da utilização de assistentes de inteligência artificial (IA) na resposta a questões sobre atualidade. O estudo, realizado ao longo de um mês, revelou que 51% das respostas fornecidas por quatro das principais ferramentas de IA contêm problemas significativos, incluindo erros factuais e deturpações do material de origem.

A análise incidiu sobre os assistentes de IA ChatGPT (OpenAI), Copilot (Microsoft), Gemini (Google) e Perplexity, testados com perguntas baseadas em notícias publicadas pela BBC. Os conteúdos gerados foram avaliados por jornalistas especializados, que analisaram a sua precisão, imparcialidade e fidelidade ao conteúdo original:

• 51% das respostas apresentaram problemas relevantes.
• 19% das respostas que citaram conteúdos da BBC incluíram erros factuais, como números e datas incorretos.
• 13% das citações de artigos da BBC foram alteradas ou inexistentes no conteúdo original.

A proliferação de assistentes de IA levanta desafios significativos no acesso à informação.

Pete Archer, Diretor do Programa de IA Generativa da BBC, reconhece o potencial da tecnologia, mas sublinha os riscos da sua utilização sem um controlo rigoroso: “Estamos entusiasmados com o futuro da IA e com o valor que pode trazer ao público. Já a utilizámos para adicionar legendas a programas da BBC Sounds e traduzir conteúdos para diferentes idiomas na BBC News. A IA pode trazer valor real se for utilizada de forma responsável.”

Contudo, Archer alerta para o perigo da propagação de informação incorreta: “As pessoas podem pensar que podem confiar no que lêem destes assistentes de IA, mas esta investigação mostra que podem produzir respostas distorcidas, factualmente incorretas ou enganadoras sobre acontecimentos noticiosos importantes.”

O responsável da BBC defende ainda que é essencial garantir que os assistentes de IA forneçam informação rigorosa e fiável: “Os editores, como a BBC, devem ter controlo sobre se e como o seu conteúdo é utilizado, e as empresas de IA devem mostrar como os assistentes processam as notícias, juntamente com a escala e o âmbito dos erros e imprecisões que produzem.”

Segundo Archer, “a solução passa por uma colaboração estreita entre as empresas de comunicação social e os gigantes da tecnologia. Isto exigirá parcerias fortes e novas formas de trabalhar que coloquem o público em primeiro lugar e maximizem o valor para todos. A BBC está aberta e disposta a trabalhar em estreita colaboração com os parceiros para o fazer,” acrescenta.

Exemplos de erros detetados

Durante a investigação, foram identificados vários casos em que os assistentes de IA forneceram informações incorretas ou deturpadas.

• O ChatGPT e o Copilot afirmaram que Rishi Sunak e Nicola Sturgeon ainda eram primeiros-ministros, apesar de já terem deixado os cargos.
• O Gemini afirmou erradamente que o NHS desaconselha o uso de cigarros eletrónicos para deixar de fumar, quando na realidade essa é uma das estratégias recomendadas pelo serviço de saúde britânico.
• Uma resposta da Perplexity sobre o conflito no Médio Oriente citou a BBC para afirmar que o Irão demonstrou “contenção” e descreveu as ações de Israel como “agressivas” – no entanto, esses termos não constavam nas reportagens imparciais da BBC.

O estudo da BBC destaca os desafios da utilização de assistentes de IA na obtenção de informação noticiosa. Apesar do seu potencial, a tecnologia ainda apresenta limitações significativas, que podem contribuir para a propagação de desinformação.

A BBC reforça a necessidade de transparência e responsabilidade por parte das empresas de IA, defendendo maior controlo editorial sobre a forma como os conteúdos jornalísticos são utilizados e apresentados ao público.