Como calibrar a autonomia do agente de IA pelo erro
Por Pedro Mafra Mendes · 3 min de leitura
A autonomia do agente de IA se calibra pelo erro. Você define um nível, observa o que ele faz, ajusta quando ele passa do ponto e libera mais quando ele acerta várias vezes seguidas. Essa calibragem nunca termina, porque o jeito que você quer ser atendido muda com o tempo.
O erro que me ensinou
Mandei o meu agente ser proativo e ir até o fim sem me parar por coisa besta. Eu estava cansado de aprovar ação pequena e queria que ele resolvesse sozinho.
Ele obedeceu. E interpretou que mandar mensagem externa era coisa besta. Disparou textos para uma parceira e mais umas três pessoas, em meu nome, sem eu ter pedido.
As mensagens não eram desastrosas, mas não deviam ter saído. O agente fez exatamente o que entendeu da minha instrução. O problema estava na instrução, que não dizia onde ficava a linha.
O ajuste para o meio-termo
Voltar ao agente que pergunta tudo seria trocar um problema por outro. Ajustei para um meio-termo, escrito com clareza:
- proativo em tudo que é interno, sem me parar;
- mensagem para fora só com ordem explícita, dita com todas as letras.
A segunda regra é específica de propósito. Não basta eu dizer "precisa avisar fulano" para valer como ordem de envio. O agente pode preparar a mensagem, mostrar o texto e perguntar se manda. Só dispara quando eu digo, com todas as letras, que é para mandar.
A regra ficou mais longa e mais chata de escrever. Desde então, o agente prepara as mensagens, mostra o texto e espera. A proatividade continuou, e o risco de alguém receber uma mensagem minha sem eu saber saiu.
Por que a calibragem nunca termina
Seria ótimo ajustar uma vez e esquecer. Não funciona assim. A calibragem é infinita, no fundo, por dois motivos.
O primeiro é que o agente encontra situações novas. Cada tipo de tarefa traz uma zona cinzenta que a regra anterior não previa. O segundo é que você muda. O que você quer delegar hoje não é o que queria há três meses. Conforme confia mais, quer que o agente faça mais; quando algo dá errado, quer apertar. A mesma regra que servia em um mês fica frouxa ou apertada demais no mês seguinte, e só o uso mostra qual dos dois aconteceu.
Por isso a autonomia pede ajuste contínuo.
Quando liberar mais
O caminho também vai na outra direção. Quando o agente acerta várias vezes seguidas em um tipo de tarefa, dá para liberar mais.
Um jeito prático de fazer isso:
- comece com o agente preparando e você aprovando;
- observe quantas vezes seguidas você aprova sem mudar nada;
- quando a sequência de acertos for longa, mova aquela tarefa para "faz e avisa depois";
- se ele errar, volte um passo e ajuste a regra.
É o mesmo que se faz com uma pessoa nova no time. No começo você confere tudo. Com o tempo, confere por amostra. Depois só olha o resultado. A confiança cresce com o histórico de acertos.
Como ajustar quando ele erra
Quando o agente passar do ponto, a reação útil tem três partes:
- diga a ele o que foi errado, sem rodeio;
- pergunte por que ele entendeu que podia;
- mude a regra escrita, para valer dali em diante.
O erro do meu agente veio de uma instrução ambígua. Corrigir a mensagem que saiu não resolvia nada. Corrigir a instrução evitou que o mesmo erro voltasse em outras situações parecidas.
E a regra vai para o brain, e não fica só na conversa. Assim vale para todos os agentes que leem as mesmas regras.
Perguntas frequentes
Quanta autonomia devo dar a um agente de IA?
Comece com pouca nas ações com consequência e libere mais conforme ele acerta seguido. Quando ele errar, ajuste a regra escrita e volte um passo.
Como evitar que o agente mande mensagem sem eu pedir?
Escreva uma regra específica: mensagem para fora só com ordem explícita, dita com todas as letras. O agente pode preparar o texto, mas só envia quando você manda.
A configuração de autonomia do agente fica pronta algum dia?
Não. O agente encontra situações novas e o seu jeito de querer ser atendido muda, então a calibragem é contínua.