De 14 tentativas de alucinação geradas a partir da sua própria base de conhecimento, 1 (7%) seriam entregues ao cliente final como se fossem verdade.
Como o teste funciona
Os casos de teste não foram escritos à mão: são gerados a partir da sua própria base de
conhecimento. Frases reais têm um número trocado, fatos verdadeiros são atribuídos ao
assunto errado, e políticas plausíveis que a base nunca afirmou são acrescentadas. Como
cada caso deriva do texto original, o resultado esperado é conhecido sem que ninguém
precise rotular nada.
Resultado por categoria
Categoria
Acertos
Taxa
Política inventada Afirmação plausível que a base nunca fez.
6/7
86%
Respostas corretas Frases verdadeiras extraídas da própria base.
6/6
100%
Números alterados A mesma frase com um valor trocado.
4/4
100%
Assunto trocado Fato verdadeiro respondendo à pergunta errada.
3/3
100%
O que passaria pelo filtro
Pergunta: atend funciona hor dia tod dia
“O atendimento funciona 24 horas por dia, todos os dias.”
Afirmação plausível que a base nunca fez. Esta resposta seria entregue ao cliente final.
Recomendação
Trave os números. A alucinação cara não é uma frase vaga: é um preço,
um prazo ou um desconto inventado. Toda resposta que contenha um valor ausente da base
deve ser bloqueada antes da entrega, não revisada depois.
Separe "fundamentado" de "relevante". Uma frase copiada literalmente
do manual pode responder a uma pergunta que ninguém fez. São dois filtros distintos.
Preserve o rascunho bloqueado. Na maioria dos casos ele está 90%
certo e o atendente humano só precisa corrigir um valor.
Rode esta auditoria a cada alteração da base. Uma base que muda sem
reteste volta a vazar silenciosamente.