IA inventando dado ou respondendo não sei: como calibrar
Por Pedro Mafra Mendes · 4 min de leitura
A IA erra para dois lados, e os dois são ruins. Em um, ela afirma o que não sabe e inventa dado. No outro, responde "não sei" para o que deveria saber, por preguiça ou por instrução fechada demais. O trabalho é calibrar entre os extremos: cobrar a causa de cada erro, corrigir na instrução e testar o limite.
Por que a IA inventa dado?
Porque ela foi feita para continuar o texto da forma mais provável. Quando falta uma informação, a continuação provável é um número plausível, e não um buraco. Sem regra dizendo o contrário, ela preenche. O resultado é um relatório que parece certo, com um número que ninguém mandou e que ninguém confere.
Esse é o erro que todo mundo conhece e teme. Mas, quando a pessoa tenta resolver só esse lado, cai no outro.
Quando o "não sei" é preguiça?
Quando a IA tinha como saber. O exemplo mais comum é ela responder que não tem acesso à planilha que você mandou na conversa de ontem, quando a planilha está na pasta do projeto ou no sistema a que ela está ligada. Ou dizer que não encontrou a informação depois de olhar um único lugar.
Não aceito esse "não sei". Quando acontece, cobro a causa: por que você não achou? Onde procurou? O que te impediu de procurar no outro lugar? A resposta quase sempre aponta para a instrução. E aí mando corrigir na fonte, para não voltar amanhã.
O mesmo agente pode ficar tímido ou feroz?
Pode, e depende só da instrução. Já vi agente de base de conhecimento (aquele "cérebro" com os documentos da empresa) responder "não está no brain" para tudo. A instrução estava tão preocupada em não inventar que proibiu qualquer coisa fora dos documentos, inclusive o que estava em outro lugar óbvio.
Um caso simples mostra isso. Um agente desse tipo só respondeu a temperatura de São Paulo e do Rio quando a instrução passou a liberar a busca na internet. Antes, a resposta era "não tenho essa informação", o que era verdade dentro dos documentos e inútil para quem perguntou.
A instrução que funciona para mim tem quatro partes:
- procure até achar, em todos os lugares a que você tem acesso, antes de dizer que não sabe;
- nunca entregue resposta pela metade sem dizer o que faltou;
- traga sempre a fonte de cada informação;
- separe o que veio dos documentos do que veio da internet.
A última regra resolve muito. Você libera a busca externa e continua sabendo o que é dado da empresa e o que é dado de fora.
Cada ajuste tem custo?
Tem. Mandar procurar até achar gasta mais token e mais tempo. Liberar a internet abre espaço para fonte ruim. Exigir fonte de tudo deixa a resposta mais longa. Não existe instrução que só melhora.
Por isso calibro testando o limite. Faço a mesma pergunta difícil antes e depois do ajuste e vejo três coisas: acertou mais, inventou menos, ficou caro ou lento demais? Se o ganho de acerto vale o custo, fica. Se não vale, a regra fica mais específica, por exemplo procurar até achar só quando a pergunta é sobre dado da empresa.
Como corrigir na fonte em vez de corrigir na conversa?
Quando a IA erra para qualquer lado, a tentação é corrigir ali mesmo: "não, a planilha está na pasta tal". Funciona naquela conversa e volta na próxima. A correção que dura vai para a instrução do agente ou do perfil.
Meu caminho é sempre o mesmo. Peço para a IA explicar por que respondeu daquele jeito. Pergunto o que precisaria estar escrito para ela não repetir. Reviso a sugestão e coloco na instrução. Na próxima vez que o caso aparece, confiro se o comportamento mudou.
Com o tempo, a instrução fica mais precisa e o agente para de oscilar entre inventar e se recusar. Ele passa a procurar, a achar quando o dado existe e a dizer com clareza quando não existe, que é o que eu quero de qualquer pessoa que trabalha comigo.
Perguntas frequentes
Como impedir a IA de inventar número?
Diga na instrução que todo número precisa ter fonte e que ela deve avisar quando faltar dado. Depois confira as primeiras respostas para ver se ela cumpre.
Por que meu agente responde que não sabe quase tudo?
A instrução provavelmente está fechada demais. Mande procurar em todos os lugares a que ele tem acesso antes de desistir e separar a fonte interna da externa.
Liberar a busca na internet não aumenta o erro?
Aumenta o risco de fonte ruim. Por isso a instrução pede a fonte de cada informação e separa o que veio dos documentos do que veio de fora.