A pergunta mais perigosa num projeto de IA não é "que modelo usar". É como saber se está a resultar. A maioria das empresas mede mal — mede a precisão do modelo, ou o volume de utilização — e não mede o que importa: o tempo humano que passou a ter maior valor.
Os 3 KPIs que importam
(1) Horas humanas libertadas: tarefas que os humanos deixaram de fazer. (2) Taxa de conversão no processo: lead -> agendamento, fatura pendente -> conciliada, ticket -> resolvido. (3) Erro evitado: itens que os humanos apanhavam e o agente não apanhou.
A armadilha da "utilização"
"A nossa IA foi usada 1.500 vezes no mês" não diz nada. Se substituiu 1.500 mensagens que os humanos teriam enviado, é ótimo. Se só respondeu a 1.500 perguntas que podiam ter ido ao Google, é vazio. Meça o que deslocou, não o que tocou.
Como correr a experiência
Defina 1 processo, 1 KPI, 1 base de 2 semanas. Implemente o agente. Meça nas 4 semanas seguintes. Compare base vs pós. Decida com base nesse delta — não numa pitch de fornecedor.