Janela de contexto da IA: por que abrir uma conversa por assunto
Por Pedro Mafra Mendes · 3 min de leitura
A janela de contexto da IA funciona como um pergaminho que corre: conforme a conversa cresce, o que está no começo vai se perdendo. E a IA relê a conversa inteira a cada pergunta, o que gasta tempo e token. Por isso a regra é simples: assunto novo, conversa nova. E a instrução que não pode falhar vai no começo e no fim do pedido.
Um milhão de tokens parece muito, até não ser
Os modelos atuais aceitam janelas enormes, de até um milhão de tokens. Token é o pedaço de palavra que a IA lê. Parece espaço de sobra para qualquer coisa, e para uma tarefa só costuma ser mesmo.
O problema aparece quando a mesma conversa vira depósito de tudo. Você começa pedindo uma análise de estoque, depois pede um e-mail para fornecedor, depois uma ideia de campanha, depois volta ao estoque. Em poucas horas a conversa tem arquivos, tabelas, rascunhos e correções de vários assuntos diferentes misturados.
Uma conversa que mistura tarefas estoura a janela, e mesmo antes de estourar ela já piora.
Por que a IA esquece o que você disse no começo
Pense na janela como um pergaminho que corre em uma direção. O que entra de novo aparece embaixo, e o que está lá em cima vai perdendo força. A instrução que você deu no primeiro pedido, depois de muitas trocas, pesa muito menos do que o último parágrafo que você escreveu.
Por isso a IA às vezes ignora uma regra que você deu lá atrás. Ela não esqueceu de propósito. A regra ficou longe, misturada com muita coisa, e a atenção do modelo foi para o que estava mais perto.
Outro efeito: a cada nova pergunta, a IA relê a conversa inteira. Conversa longa é resposta mais lenta e mais cara, porque cada pergunta paga a leitura de tudo o que veio antes.
A regra que eu sigo
Para não cair nisso, trabalho com quatro hábitos:
- assunto novo, conversa nova;
- uma instrução no meu perfil manda a IA me avisar quando a sessão passa de certo tamanho;
- quando o aviso chega, fecho a etapa, peço um resumo do que foi feito e decidido, e continuo o mesmo assunto em outra conversa, colando esse resumo;
- instrução que não pode falhar em pedido longo vai no começo e no fim, onde a atenção do modelo é maior.
O segundo hábito é o que mais ajuda quem está começando. Você não precisa ficar contando tamanho de conversa. A própria IA avisa, e você decide se fecha ali.
Como fazer o resumo de passagem
O resumo que leva o assunto de uma conversa para a outra é o que impede você de perder o trabalho feito. Peço para ele trazer:
- o objetivo da tarefa;
- o que já foi feito e o resultado;
- as decisões tomadas e o porquê;
- o que falta fazer e os arquivos envolvidos.
Com esse resumo colado em uma conversa nova, a IA começa com o essencial no topo da janela e sem o lixo das tentativas que não deram certo. Muitas vezes ela trabalha melhor do que na conversa antiga, porque o contexto ficou limpo.
Onde isso aparece na rotina de um e-commerce
Em operação de e-commerce, as conversas tendem a ficar longas, porque os assuntos se cruzam. Estoque leva a compra, compra leva a fornecedor, fornecedor leva a prazo de entrega, prazo leva a atendimento.
A tentação é tratar tudo na mesma conversa. Resista. Abra uma conversa para o planejamento de compra, outra para o e-mail ao fornecedor e outra para a resposta ao cliente. Se uma precisa do resultado da outra, passe o resumo. Cada conversa fica curta, focada e com as regras dela no topo.
Perguntas frequentes
O que é a janela de contexto da IA?
É o limite de texto que a IA consegue considerar de uma vez em uma conversa, medido em tokens. Conforme a conversa cresce, o começo dela perde peso na resposta.
Quando devo abrir uma nova conversa com a IA?
Sempre que mudar de assunto, e também quando a conversa do mesmo assunto ficar longa. Nesse caso, peça um resumo e continue em uma conversa nova.
Onde coloco a instrução mais importante em um pedido longo?
No começo e no fim do pedido. São os pontos onde a atenção do modelo é maior.