Como avaliamos a qualidade da transcrição do correio de voz e o que cortamos

Introdução

A transcrição do correio de voz parece um problema resolvido. Vários modelos ASR grandes podem transcrever áudio limpo de estúdio com precisão quase humana. O problema é que o áudio do correio de voz quase nunca fica limpo. Os chamadores ligam de carros, corredores, canteiros de obras e viva-voz. Os acentos variam amplamente. Nomes próprios – nomes, empresas, endereços, códigos de produtos – são exatamente os tokens que mais importam e aqueles que os modelos lidam pior. É para isso que nosso equipamento de avaliação foi projetado para revelar antes que um modelo entre em contato com o tráfego de produção.

Por que a taxa de erro de palavras por si só não é suficiente

A taxa de erros de palavras (WER) é a métrica acadêmica padrão para qualidade de transcrição. Ele mede qual fração de palavras em uma transcrição não corresponde à referência. O problema de usar o WER como sua única porta é que os erros não são uniformemente caros. Uma transcrição que contém 'um' e 'uh' errado não custa nada. Uma transcrição que errou o número de retorno de chamada custará o trabalho.

Executamos o WER como uma verificação de linha de base, mas nossa métrica de controle é o que chamamos de Taxa de Erro Crítico de Entidade (ECER): a fração de entidades nomeadas – números de telefone, endereços, nomes pessoais, nomes de empresas, valores em dólares – que são transcritas incorretamente. Um modelo que parece aceitável no WER pode falhar gravemente no ECER, particularmente para fala com sotaque e nomes próprios fora da distribuição de treinamento.

O conjunto de dados de avaliação

Nosso conjunto de avaliação é construído a partir de áudio de correio de voz real com consentimento do cliente e anonimato total antes de entrar no pipeline. Mantemos cerca de 4.000 amostras estratificadas em cinco ambientes de ruído (interno silencioso, carro, ambiente externo, música de fundo, reverberação de viva-voz), três grupos de sotaques (americana geral, americana do sul, inglês não nativo) e quatro tipos de mensagens (solicitação de consulta, reclamação, solicitação de retorno de chamada, consulta geral).

Cada amostra tem uma transcrição verificada por humanos que foi revisada por dois anotadores com divergências resolvidas por um terceiro. O protocolo de anotação especifica que os nomes próprios devem ser transcritos como falados, e não corrigidos para a entidade pretendida mais provável - se um chamador disser 'Jonson', escrevemos 'Jonson', não 'Johnson'. Modelos que normalizam silenciosamente nomes próprios ficam melhores em conjuntos de avaliação padrão e falham na produção exatamente onde é mais importante.

O que testamos e como

• WER na transcrição completa – portão de linha de base, deve ser aprovado antes de qualquer outra execução de avaliação
• ECER em entidades nomeadas — métrica de controle; qualquer regressão aqui bloqueia um modelo candidato
• Latência em p95 – a transcrição deve ser concluída em até 8 segundos após o término do correio de voz para entrega de notificação em tempo real
• Degradação sob ruído — Delta WER entre amostras silenciosas e ruidosas; modelos que se degradam de forma não linear sob ruído moderado falham nesta porta
• Lembrete de substantivo próprio - testado especificamente em uma lista de 500 nomes comerciais comuns, tipos de ruas e padrões de números de telefone
• Taxa de alucinações — fração de transcrições que incluem conteúdo não presente no áudio; crítico porque um número de retorno de chamada alucinado é pior do que nenhuma transcrição

O que cortamos e por quê

Avaliamos quatro modelos candidatos no último ciclo. Dois foram cortados no portão ECER – ambos eram fortes em WER, mas tiveram desempenho ruim em nomes próprios no grupo de sotaques não nativos, o que representa uma parcela significativa de nossa base de clientes. Um deles foi reduzido na taxa de alucinações: produziu transcrições gramaticalmente corretas e confiantes que ocasionalmente incluíam palavras que não estavam presentes no áudio. O quarto passou por todos os portões e está em produção.

A válvula de escape humana

Quando uma transcrição tem pontuação abaixo do nosso limite de confiança em qualquer segmento, nós a sinalizamos para revisão humana, em vez de entregá-la com um indicador de confiança enganoso. Os clientes veem um selo de “baixa confiança” nas transcrições sinalizadas. No nosso modelo de produção atual, cerca de 3% das transcrições são sinalizadas e, dessas, cerca de 60% são corrigidas por revisão humana antes da entrega. A alternativa – entregar todas as transcrições sem sinais de confiança – tem uma taxa de tíquetes de suporte mais baixa até que um cliente perca o emprego porque erramos no número de retorno de chamada.

O que vem a seguir

A área com a maior lacuna restante é a diarização do locutor em correios de voz multipartidários – mensagens em que um chamador entrega o telefone a um colega ou parceiro para adicionar contexto adicional. Os modelos atuais lidam mal com isso e o efeito posterior no registro de CRM é significativo. Estamos executando um ciclo de avaliação separado para candidatos à diarização agora, com o objetivo de lançar uma versão melhorada no segundo trimestre.