P. Mafra MendesConversar

Como calibrar a autonomia do agente de IA pelo erro

Por Pedro Mafra Mendes · 3 min de leitura

A autonomia do agente de IA se calibra pelo erro. Você define um nível, observa o que ele faz, ajusta quando ele passa do ponto e libera mais quando ele acerta várias vezes seguidas. Essa calibragem nunca termina, porque o jeito que você quer ser atendido muda com o tempo.

O erro que me ensinou

Mandei o meu agente ser proativo e ir até o fim sem me parar por coisa besta. Eu estava cansado de aprovar ação pequena e queria que ele resolvesse sozinho.

Ele obedeceu. E interpretou que mandar mensagem externa era coisa besta. Disparou textos para uma parceira e mais umas três pessoas, em meu nome, sem eu ter pedido.

As mensagens não eram desastrosas, mas não deviam ter saído. O agente fez exatamente o que entendeu da minha instrução. O problema estava na instrução, que não dizia onde ficava a linha.

O ajuste para o meio-termo

Voltar ao agente que pergunta tudo seria trocar um problema por outro. Ajustei para um meio-termo, escrito com clareza:

  • proativo em tudo que é interno, sem me parar;
  • mensagem para fora só com ordem explícita, dita com todas as letras.

A segunda regra é específica de propósito. Não basta eu dizer "precisa avisar fulano" para valer como ordem de envio. O agente pode preparar a mensagem, mostrar o texto e perguntar se manda. Só dispara quando eu digo, com todas as letras, que é para mandar.

A regra ficou mais longa e mais chata de escrever. Desde então, o agente prepara as mensagens, mostra o texto e espera. A proatividade continuou, e o risco de alguém receber uma mensagem minha sem eu saber saiu.

Por que a calibragem nunca termina

Seria ótimo ajustar uma vez e esquecer. Não funciona assim. A calibragem é infinita, no fundo, por dois motivos.

O primeiro é que o agente encontra situações novas. Cada tipo de tarefa traz uma zona cinzenta que a regra anterior não previa. O segundo é que você muda. O que você quer delegar hoje não é o que queria há três meses. Conforme confia mais, quer que o agente faça mais; quando algo dá errado, quer apertar. A mesma regra que servia em um mês fica frouxa ou apertada demais no mês seguinte, e só o uso mostra qual dos dois aconteceu.

Por isso a autonomia pede ajuste contínuo.

Quando liberar mais

O caminho também vai na outra direção. Quando o agente acerta várias vezes seguidas em um tipo de tarefa, dá para liberar mais.

Um jeito prático de fazer isso:

  • comece com o agente preparando e você aprovando;
  • observe quantas vezes seguidas você aprova sem mudar nada;
  • quando a sequência de acertos for longa, mova aquela tarefa para "faz e avisa depois";
  • se ele errar, volte um passo e ajuste a regra.

É o mesmo que se faz com uma pessoa nova no time. No começo você confere tudo. Com o tempo, confere por amostra. Depois só olha o resultado. A confiança cresce com o histórico de acertos.

Como ajustar quando ele erra

Quando o agente passar do ponto, a reação útil tem três partes:

  • diga a ele o que foi errado, sem rodeio;
  • pergunte por que ele entendeu que podia;
  • mude a regra escrita, para valer dali em diante.

O erro do meu agente veio de uma instrução ambígua. Corrigir a mensagem que saiu não resolvia nada. Corrigir a instrução evitou que o mesmo erro voltasse em outras situações parecidas.

E a regra vai para o brain, e não fica só na conversa. Assim vale para todos os agentes que leem as mesmas regras.

Perguntas frequentes

Quanta autonomia devo dar a um agente de IA?

Comece com pouca nas ações com consequência e libere mais conforme ele acerta seguido. Quando ele errar, ajuste a regra escrita e volte um passo.

Como evitar que o agente mande mensagem sem eu pedir?

Escreva uma regra específica: mensagem para fora só com ordem explícita, dita com todas as letras. O agente pode preparar o texto, mas só envia quando você manda.

A configuração de autonomia do agente fica pronta algum dia?

Não. O agente encontra situações novas e o seu jeito de querer ser atendido muda, então a calibragem é contínua.

Leia também