Como a IA escolhe a resposta: cada palavra de contexto muda a estatística
Por Pedro Mafra Mendes · 4 min de leitura
A IA escolhe cada palavra pela probabilidade de ela vir em seguida. Tudo que você acrescenta ao pedido, como o nome da empresa, as colunas da planilha ou o papel que ela deve assumir, reduz as respostas possíveis e aumenta o acerto. Entender essa estatística explica por que contexto ajuda, por que documento contraditório atrapalha e por que o texto nunca sai igual.
A IA calcula a próxima palavra
Por baixo de tudo, um modelo de linguagem faz uma conta: dado o que veio antes, qual é a próxima palavra mais provável? Ele faz essa conta palavra por palavra até terminar a resposta.
Quando o pedido é curto e solto, existem milhares de caminhos prováveis. A resposta pode ir para qualquer lado, e ela vai para o lado mais comum, que é o genérico.
Quando você acrescenta contexto, cada palavra nova estreita esse leque. Escrever o nome da empresa junto ao nome da pessoa, por exemplo, tira da mesa todas as outras pessoas com o mesmo nome. Listar as colunas da planilha tira da mesa todos os formatos que ela poderia imaginar. Você está mexendo na estatística, e a chance de a próxima palavra sair certa aumenta.
Documento seu pesa muito, e documento contraditório confunde
Um documento que você coloca no contexto entra como peso forte em cima do treino gigante do modelo. Por isso uma política de troca colada no projeto vence o conhecimento genérico que a IA tem sobre leis de consumo.
O mesmo mecanismo explica um problema comum. Se você coloca dois documentos que se contradizem, por exemplo uma tabela de preço antiga e uma nova, a IA recebe dois pesos fortes apontando para lados diferentes. Ela se confunde, mistura e pode inventar uma terceira coisa. É aí que aparece boa parte da alucinação.
Por isso vale cuidar do que entra no contexto:
- tire versões velhas de documentos que já foram substituídos;
- deixe claro qual documento manda quando houver conflito;
- prefira um documento curto e certo a vários longos e parecidos.
O papel e a repetição funcionam pelo mesmo peso
Quando você diz para a IA "aja como um comprador experiente de moda", isso também funciona pela estatística. O papel puxa as próximas palavras para o vocabulário e o raciocínio de quem tem aquele cargo.
Repetir o que importa no pedido funciona do mesmo jeito. Se uma regra não pode falhar, escrever a regra mais de uma vez aumenta o peso dela e a chance de ser seguida. Parece redundante para um humano, mas para a estatística faz diferença.
O número tem que sair igual, o texto nunca sai igual
Essa lógica tem duas consequências práticas que eu uso o tempo todo.
A primeira: com o mesmo contexto e a mesma regra de cálculo, o número tem que sair igual. Se você pede a margem de um produto duas vezes e recebe dois valores, alguma coisa no contexto ou na regra está aberta demais. Feche a regra até o número bater.
A segunda: o texto nunca sai igual. Cada vez que você pede um e-mail, uma descrição ou um resumo, a estatística escolhe um caminho um pouco diferente. Isso não é defeito. Se você precisa de um texto fixo, salve o texto aprovado e use como modelo.
Pergunta fechada (qual o prazo de troca? qual a margem deste item?) responde mais rápido e com menos gasto, porque o caminho provável é curto. Pergunta aberta serve quando você quer um retorno solto, como ideias para uma campanha ou formas de olhar um problema. Escolha conforme o que você precisa receber.
A IA não reconhece o próprio erro sozinha
Outra consequência: a IA não percebe sozinha quando errou. Para ela, a sequência de palavras fazia sentido, porque cada palavra era provável depois da anterior. Não existe um alarme interno que dispara quando o conteúdo está errado.
Um exemplo conhecido é a contagem de letras. Durante um tempo, as IAs erravam quantas letras R existem em "strawberry". O motivo é que o modelo lê pedaços de palavra (tokens), e não letras. Ele nunca viu as letras separadas, então chutava.
Por isso conferir continua sendo trabalho seu, ou de outro agente que você põe para revisar.
Perguntas frequentes
Por que a IA inventa informação?
Ela escolhe a palavra mais provável, e não a verdadeira. Quando falta contexto ou o contexto se contradiz, a sequência provável pode ser falsa e mesmo assim parecer certa.
Por que a IA dá respostas diferentes para a mesma pergunta?
Porque cada resposta é escolhida por probabilidade, palavra por palavra. Texto sempre varia; número calculado com o mesmo contexto e a mesma regra deveria sair igual.
Repetir a instrução no prompt ajuda?
Ajuda. Repetir o que importa aumenta o peso daquela instrução na estatística e a chance de ela ser seguida.