Alucinações em IA: porque é que os agentes às vezes inventam respostas

Um agente de IA pode dizer que a loja abre ao domingo quando está fechada, citar uma política de devoluções que não existe ou inventar o número de uma encomenda. A isto chama-se alucinação: uma resposta escrita com toda a confiança, bem construída e falsa. Não é uma avaria rara. É uma característica dos modelos de linguagem que se gere com desenho, não com esperança.

Neste artigo explicamos porque acontece, que riscos traz para uma empresa e o que fazemos para a reduzir nos agentes que construímos.

Porque é que um modelo de IA inventa

Um modelo de linguagem não consulta uma base de dados de factos. Aprendeu, a partir de enormes quantidades de texto, a prever a continuação mais provável de uma frase. Na maior parte das vezes, a continuação mais provável é também a verdadeira. Quando não sabe, o modelo não "sente" a dúvida da mesma forma que uma pessoa: continua a escrever algo plausível.

As causas mais comuns são quatro:

• Falta de informação. A pergunta é sobre a sua empresa (horários, preços, prazos) e o modelo não tem esses dados à frente.
• Informação desactualizada. O modelo aprendeu até uma certa data e não sabe o que mudou depois.
• Pergunta ambígua. "Quanto custa o serviço?" sem dizer qual. O modelo escolhe uma interpretação e responde a essa.
• Pressão para responder. Se as instruções pedem sempre uma resposta útil e nunca dizem que "não sei" é aceitável, o modelo tende a preencher o vazio.

O que pode correr mal numa empresa

Há dois casos públicos que mostram o risco. Em 2023, nos Estados Unidos, um tribunal federal multou advogados que tinham entregado um documento com decisões judiciais inventadas por um assistente de IA: os processos citados nunca existiram. Em 2024, no Canadá, um tribunal condenou a Air Canada a compensar um cliente a quem o assistente do site tinha dado informação errada sobre um desconto. A companhia argumentou que o assistente era responsável pelas próprias respostas; o tribunal não aceitou.

A lição para uma PME é simples: o que o agente diz, a empresa disse. Uma alucinação pode significar um cliente que vem a uma loja fechada, um preço que tem de honrar ou uma informação errada sobre um tratamento ou um contrato.

Como se reduzem as alucinações

Não existe um botão que as elimine. Existe um conjunto de práticas que as torna raras e, sobretudo, inofensivas:

1. Dar ao agente a informação certa. O agente responde a partir dos documentos da empresa (horários, preços, políticas, catálogo), que lhe são entregues no momento da pergunta. É o que se chama "fundamentar" as respostas. Sem fontes, não há resposta.
2. Ir buscar os dados vivos às ferramentas. Preços, stock, estado de encomendas e disponibilidade de agenda vêm do sistema, nunca da "memória" do modelo. O agente consulta; não adivinha.
3. Permitir e pedir o "não sei". As instruções dizem explicitamente: se a resposta não está nas fontes, diga que não sabe e passe a uma pessoa. Parece pouco, mas muda o comportamento.
4. Mostrar a fonte. Quando o agente responde com base num documento, indica qual. Isso ajuda o cliente e ajuda a equipa a detectar erros.
5. Respostas com formato fixo. Em tarefas como classificar pedidos ou extrair dados de uma factura, o agente preenche campos definidos em vez de escrever texto livre. Há muito menos espaço para inventar.
6. Verificação antes de agir. Em passos com consequências, um segundo controlo confirma a resposta: regras no código, um segundo modelo a rever, ou uma pessoa a aprovar.
7. Testes com perguntas reais. Antes de pôr no ar, e sempre que mudam as instruções ou o modelo, corre-se um conjunto de perguntas com a resposta certa conhecida, incluindo perguntas a que o agente não deve saber responder.

Explicamos como escrever estas instruções no artigo como dar instruções a um agente de IA.

Onde a IA não deve ter a última palavra

Mesmo com tudo isto, há decisões que não se entregam a um modelo sem revisão: dinheiro, saúde, questões legais, contratos e tudo o que não se pode desfazer. Nesses casos, o agente prepara, resume e sugere; uma pessoa decide. É também o que pede o bom senso perante o Regulamento Europeu da IA, que obriga a informar as pessoas de que estão a falar com uma IA.

Desenvolvemos este equilíbrio em atendimento ao cliente com IA: o que fica com o agente e o que fica com as pessoas e em segurança em agentes de IA.

Como medir se o agente inventa

• Leia conversas reais nas primeiras semanas, todas se forem poucas.
• Registe cada erro com a pergunta, a resposta e a resposta certa, e acrescente-o aos testes.
• Conte as respostas "não sei": se forem muitas, falta informação nas fontes; se forem nenhumas, desconfie.
• Peça a opinião do cliente no fim da conversa, com uma pergunta simples.

Em resumo

As alucinações são o preço de usar modelos que escrevem como pessoas. Não desaparecem, mas tornam-se raras quando o agente responde a partir dos dados da empresa, pode dizer "não sei", mostra de onde vem a resposta e passa a uma pessoa tudo o que tem consequências. Um agente que admite não saber vale mais do que um que responde sempre.

Quer um agente de IA que responda só com base na informação da sua empresa? Veja como trabalhamos em agentes de IA e peça uma análise gratuita. Respondemos em 48 horas.