Contar mensagens respondidas não diz se o chatbot está funcionando. O que importa é se ele resolve a demanda, reduz carga da equipe e mantém qualidade percebida pelo cliente.
Sem indicadores claros, o bot vira caixa preta. Ninguém sabe se ele está ajudando, atrapalhando ou apenas gerando trabalho em outro lugar.
Taxa de resolução sem transferência
O indicador mais direto é quantas conversas o bot resolve sem precisar de humano. Mas atenção: resolução só conta quando o problema foi de fato resolvido, não quando a conversa simplesmente acabou.
Para medir isso, é preciso definir o que significa resolução em cada tipo de atendimento. Emitir segunda via é resolução. Responder com informação genérica que não atende à pergunta não é.
Motivos de transferência
A análise dos motivos de handoff revela onde o bot precisa evoluir. Se a maioria das transferências acontece por falta de informação na base, o problema é conteúdo. Se acontece por limitação técnica, o problema é integração.
Categorizar transferências por tema permite priorizar melhorias com critério. Ao invés de "melhorar o bot" de forma genérica, a equipe trabalha em itens específicos com impacto mensurável.
Tempo de primeira resposta e tempo total
Resposta rápida só tem valor se for útil. Ainda assim, tempo de resposta é indicador importante porque reflete experiência do cliente. Bot que demora mais de cinco segundos para responder sem motivo perceptível gera abandono.
Tempo total da conversa também importa. Se o bot resolve em três mensagens o que antes levava quinze com atendente, o ganho é real. Se leva mais mensagens porque pede dados desnecessários, há problema de fluxo.
Assuntos sem resposta
Toda pergunta que o bot não consegue tratar deve ser registrada. Esses registros alimentam a evolução da base de conhecimento e revelam demandas novas ou mudanças no comportamento do cliente.
Um bot em operação há meses que ainda tem taxa alta de "não sei responder" indica manutenção insuficiente. A base precisa de revisão periódica com dados reais de atendimento.
Satisfação com critério
Pesquisa de satisfação funciona quando é curta, contextual e não obrigatória. Pedir nota depois de cada conversa gera fadiga. Melhor aplicar em amostra ou em conversas com características específicas — transferência, tempo longo ou tema sensível.
O indicador de satisfação deve ser cruzado com tipo de atendimento. Nota baixa em assuntos complexos pode ser esperada. Nota baixa em consultas simples indica falha evidente.