O que é alucinação de IA?

Entenda o que é uma alucinação de IA e por que o fenômeno pode acontecer em chatbots como ChatGPT e Gemini

Por: André Lourenti Magalhães

26 mai 2024 - 20h00

(atualizado em 27/5/2024 às 19h12)

Exibir comentários

A alucinação é um fenômeno no qual a inteligência artificial cita fatos inexistentes ou imprecisos para dar uma resposta sobre um determinado assunto. É um dos principais problemas que envolvem o uso de ferramentas como ChatGPT e Gemini, principalmente por conta das consequências para quem usa estes chatbots.

Os riscos das alucinações podem envolver respostas erradas e até acusações falsas que podem difamar uma pessoa. O Canaltech conversou com especialistas para entender o que causa esse processo e se existe uma forma de contê-lo com os avanços da IA generativa.

Por que as IAs alucinam?

Para entender por que uma IA alucina, primeiro é necessário entender como chatbots generativos como ChatGPT e Gemini funcionam. Essas plataformas são abastecidas com um grande modelo de linguagem (LLM), uma base de dados gigantesca com livros, páginas da web e outros dados. Depois, usam um modelo probabilístico que tenta entender qual é a próxima palavra que faz sentido na construção da frase.

"Isso significa que a partir de uma frase enviada, o programa busca um conjunto de associações que sejam prováveis para responder a uma resposta", explica o vice-presidente da empresa especializada em IA Neo4j para América Latina, André Serpa. "[A IA], portanto, não raciocina, ela opera como um sistema avançado de preenchimento automático de texto. Sem os algoritmos necessários para fornecer o contexto suficiente baseado em dados, essas respostas fornecidas podem '"falhar'", completa.

Outro ponto de atenção na estrutura das IAs generativas é a temperatura: esse conceito existe para controlar o grau de inventividade de uma IA — quanto maior, mais criativa e inventiva pode ser a resposta. Essa não é uma configuração que pode ser alterada pelo consumidor final, portanto depende dos desenvolvedores dos chatbots e de quem usa as respectivas APIs. Normalmente, os chatbots usam um nível intermediário para garantir respostas informativas e criativas.

Para o mestre em inteligência artificial pela FEI Fernando D'Angelo, a temperatura é essencial na chance de existir uma alucinação. "Se tenho uma temperatura muito baixa, a IA só vai pegar as conexões entre as palavras que ela tem certeza que funciona ou tem altas chances de funcionar. Quando ela faz isso, não cria nada, ela pega o que ela leu e reescreve na tela para o usuário. A gente quer que a IA ajude a criar, então a temperatura nunca é zero, é maior. Para quê? Para que ela justamente tenha esse grau de inventividade", explica.

ChatGPT usa um exemplo fictício para falar de alucinações, mas o problema pode envolver informações falsas e acusações imprecisas sobre indivíduos (Imagem: Captura de tela/André Magalhães/Canaltech)
Foto: Canaltech

A invenção de fatos pode surgir ao combinar o repertório dos grandes modelos de linguagem (LLMs) com os níveis de temperatura.

"Quando eu dou para a IA um espaço para ela criar, fazer o papel dela de gerar conteúdos, ela pode sim se enganar e trazer informações incorretas. Não é simplesmente uma informação que ela se confundiu, muitas vezes ela inventa informação, conecta palavras de uma forma incorreta a ponto de inventar dados, como referências de artigos científicos", comenta Fernando D'Angelo.

Por que alucinação de IA é um problema?

A desinformação é a principal consequência das alucinações. Existem exemplos de plataformas que já citaram referências bibliográficas que não existem, inventaram valores de ações de empresas e até informaram o placar do Super Bowl, a final do campeonato de futebol americano dos EUA, antes mesmo do início da partida.

Isso leva a outros problemas mais graves, principalmente com a popularização dessas ferramentas. As pessoas podem encontrar informações incorretas e, em alguns casos, a IA pode difamar indivíduos: a OpenAI já foi processada porque o ChatGPT inventou acusações falsas contra um radialista, afirmando que o profissional participaria de um esquema de desvio de dinheiro. Outra denúncia foi de que o chatbot da OpenAI erroneamente incluiu um professor estadunidense numa lista de acusados de assédio sexual.

"Há um grande risco da geração de desinformação e viés a depender da pesquisa realizada e a forma com a qual a pesquisa é colocada, visto que a resposta fornecida pelo modelo pode influenciar ou enganar o usuário de alguma forma. É preciso ter em mente que os chatbots desenvolvidos por meio do LLM podem ser, em sua maioria, treinados de uma forma onde são desprovidos de sentido e contexto", explica André Serpa.

ChatGPT e outros chatbots podem trazer informações incorretas nas respostas (Imagem: Airam Dato-on/Pexels)
Foto: Canaltech

As alucinações eram muito frequentes nas primeiras versões do ChatGPT, que ainda eram treinadas com dados desatualizados. Posteriormente, Big Techs lançaram modelos de linguagem capazes de pesquisar dados na internet e mostrar as fontes, o que ajuda a garantir a verificabilidade de uma informação

As IAs vão parar de alucinar?

Provavelmente não, dizem os especialistas: as alucinações fazem parte do aspecto inventivo das IAs generativas. É possível reduzir o fenômeno em LLMs mais novos, mas é improvável remover esse problema definitivamente.

"As alucinações são uma consequência da IA generativa, quanto mais a gente tentar eliminar, menos generativa ela vai ser", explica Fernando D'Angelo.

"Então a questão é que a gente vai ter que aprender a conviver com isso: se eu aplicar a IA em processos de negócios, é importante que eu tenha um grau de certeza, de controle sobre o que ela vai trazer, e aí você joga a temperatura para baixo. Dá para fazer isso, por exemplo, na plataforma corporativa da OpenAI, que usa o GPT-4 Turbo", afirma.

Porém, o problema ainda é grande quando as alucinações trazem acusações falsas sobre indivíduos ou fatos reais. Uma reportagem do jornal The New York Times de novembro de 2023 informa que os chatbots podem inventar informações em pelo menos 3% dos casos, mesmo em cenários criados para que isso não aconteça — em outros casos com menos restrições, o número pode chegar a 27%.

O assunto também é pauta em temas sobre a regulamentação da IA e a responsabilidade das desenvolvedoras sobre as ferramentas. No lançamento do Gemini, por exemplo, o chatbot chegou a pedir para que as pessoas pesquisassem as informações em outro lugar.

Posteriormente, o Google precisou suspender o gerador de imagens da plataforma devido a imprecisões e publicou uma nota dizendo que as "alucinações são um desafio conhecido em todos os LLMs", pois "existem casos em que a IA entende errado e isso é algo que trabalhamos constantemente para melhorar".

A OpenAI já recebeu um pedido de investigação sobre as informações inventadas sobre indivíduos: a organização sem fins lucrativos Noyb protocolou uma queixa na Europa e acusou a criadora de ChatGPT de não combater as alucinações ativamente. A empresa, entretanto, não se pronunciou sobre o tema.

Trending no Canaltech: