P. Mafra MendesConversar

Como medir se o seu segundo cérebro com IA está funcionando

Por Pedro Mafra Mendes · 3 min de leitura

Para saber se o segundo cérebro está funcionando, meça a cobertura: quanto das suas reuniões chega ao inbox. Acima de 50%, você já sente diferença no uso; abaixo disso, investigue por que não chega. Junte uma nota de saúde calculada toda noite e, para quem usa, um farol por fonte com o horário da última entrada.

O termômetro de captura

A primeira medida é a mais simples: das reuniões que você fez, quantas chegaram ao inbox do brain? Esse é o termômetro de captura.

A régua que uso:

  • acima de 50% de cobertura, você já vai ver diferença se estiver usando;
  • abaixo de 50%, algo está falhando na entrada, e vale investigar por que não chega;
  • cobertura alta sem uso também é problema: o brain está recebendo, mas ninguém está pedindo nada a ele.

O último ponto engana muita gente. Ver o inbox cheio passa a sensação de que está tudo certo. Mas se ninguém abre o brain para perguntar, preparar uma reunião ou montar um documento, a captura não serve para nada. Cobertura e uso precisam andar juntos.

Por que a cobertura cai

Quando a cobertura está baixa, as causas costumam ser poucas:

  • o gravador não foi ligado em parte das reuniões;
  • a transcrição foi gerada, mas a integração com o brain falhou;
  • um filtro está descartando um tipo de reunião sem ninguém perceber;
  • as reuniões em outra conta ou outro calendário não estão conectadas.

Cada uma tem um conserto diferente. Por isso, investigar o motivo é mais útil do que tentar subir o número na força.

A nota de saúde do brain

Além da cobertura, meu brain tem uma nota de saúde, calculada no ciclo da noite. Ela junta alguns testes:

  • testes de resposta: perguntas cuja resposta eu sei, para ver se a IA acerta;
  • links órfãos: notas que não estão ligadas a nada e que a IA nunca vai alcançar;
  • notas acima do tamanho: arquivos grandes demais, que fazem a IA ler mais do que precisa;
  • velocidade: quanto tempo leva para responder.

Com uma nota única, fica fácil ver se o brain melhorou ou piorou de um dia para o outro.

Ela também ensina humildade. Uma vez, a nota do meu brain estava em 87. Deixei a noite trabalhando para chegar a 90, e amanheceu em 88. Melhorar um sistema que já está bom é mais difícil do que parece, e a medição mostra isso sem rodeio.

O farol de quem usa

A nota de saúde serve para quem cuida do brain. Para quem só usa, a necessidade é outra. Não quero ler tudo que entrou no brain no dia. Quero saber duas coisas: se surgiu tarefa para mim e se o fluxo está girando.

Para isso, cada fonte aparece com um farol verde e o horário da última entrada. Reuniões, e-mail, mensagens, agenda. Se uma fonte está verde e com entrada recente, sei que está funcionando. Se ficou sem entrada por tempo demais, sei onde olhar.

Um painel desse tipo responde em segundos o que levaria minutos de investigação.

Por onde começar a medir

Se você ainda não mede nada, comece pela cobertura. Conte quantas reuniões teve na semana e quantas chegaram ao inbox. A própria IA faz essa conta em segundos. Com o número na mão, você sabe se o problema está na entrada ou no uso.

A nota de saúde e o farol vêm depois, quando o brain tiver volume para justificar uma medição diária. O que não dá é confiar na sensação de que está tudo funcionando, porque um brain parado não avisa ninguém.

Perguntas frequentes

Qual a principal métrica de um segundo cérebro?

A cobertura de captura: quanto das reuniões chega ao inbox. Acima de 50% você já sente diferença no uso.

O que é a nota de saúde do brain?

Um número calculado toda noite com testes de resposta, links órfãos, notas acima do tamanho e velocidade. Ela mostra se o brain melhorou ou piorou.

Cobertura alta basta para o brain funcionar?

Não. Se o brain recebe tudo mas ninguém pede nada a ele, a captura não serve. Cobertura e uso precisam andar juntos.

Leia também