Как мы оцениваем качество транскрипции голосовой почты и что мы сокращаем

Введение

Транскрипция голосовой почты кажется решенной проблемой. Несколько крупных моделей ASR могут транскрибировать чистый студийный звук с точностью, близкой к человеческой. Проблема в том, что звук голосовой почты почти никогда не бывает чистым. Звонящие звонят из машин, коридоров, строительных площадок и по громкой связи. Акценты сильно различаются. Имена собственные — имена, компании, адреса, коды продуктов — это именно те токены, которые имеют наибольшее значение и с которыми модели справляются хуже всего. Это то, что наша оценочная система призвана выявить еще до того, как модель попадет в серийный трафик.

Почему одной только частоты ошибок в словах недостаточно

Коэффициент ошибок в словах (WER) — это стандартный академический показатель качества транскрипции. Он измеряет, какая часть слов в расшифровке не соответствует ссылке. Проблема с использованием WER в качестве единственного шлюза заключается в том, что ошибки не всегда являются дорогостоящими. Стенограмма, в которой есть неправильные «хм» и «э-э», вам ничего не стоит. Расшифровка, в которой указан неверный номер обратного вызова, будет стоить вам работы.

Мы запускаем WER в качестве базовой проверки, но наша метрика шлюзования — это то, что мы называем коэффициентом критических ошибок объекта (ECER): доля названных объектов — номеров телефонов, адресов, личных имен, названий компаний, сумм в долларах — которые записаны неправильно. Модель, которая выглядит приемлемой в WER, может провалиться в ECER, особенно для акцентированной речи и имен собственных за пределами обучающего распределения.

Оценочный набор данных

Наш оценочный набор создан на основе реального аудио голосового сообщения с согласия клиента и полной анонимизации перед поступлением в конвейер. Мы храним примерно 4000 образцов, стратифицированных по пяти шумовым средам (тихо в помещении, в машине, на улице, фоновая музыка, реверберация громкой связи), трем кластерам акцентов (общеамериканский, южноамериканский, неродной английский) и четырем типам сообщений (запрос на встречу, жалоба, запрос на обратный звонок, общий запрос).

Каждый образец имеет проверенную человеком стенограмму, проверенную двумя аннотаторами, а разногласия разрешаются третьим. Протокол аннотаций определяет, что имена собственные должны транскрибироваться как произнесенные, а не исправлять их до наиболее вероятного предполагаемого объекта — если вызывающий абонент говорит «Джонсон», мы пишем «Джонсон», а не «Джонсон». Модели, которые молча нормализуют имена собственные, лучше смотрятся в стандартных оценочных наборах и терпят неудачу именно там, где это наиболее важно.

Что и как мы тестируем

• WER по полной расшифровке — базовый контрольный показатель, должен пройти перед любыми другими запусками оценки
• ECER для именованных объектов — метрика шлюзования; любая регрессия здесь блокирует модель-кандидат
• Задержка на уровне p95 — транскрипция должна завершиться в течение 8 секунд после завершения голосовой почты для доставки уведомлений в реальном времени.
• Деградация под воздействием шума — дельта WER между тихими и шумными семплами; модели, деградация которых нелинейна при умеренном шуме, не проходят этот порог
• Запоминание правильных существительных — специально проверено на основе списка из 500 распространенных названий компаний, типов улиц и шаблонов телефонных номеров.
• Частота галлюцинаций — доля транскриптов, включающих контент, отсутствующий в аудио; критично, потому что галлюцинированный номер обратного вызова хуже, чем отсутствие расшифровки

Что мы режем и почему

В последнем цикле мы оценили четыре модели-кандидата. Два из них были исключены на этапе ECER — оба были сильны по WER, но плохо справлялись с именами собственными в кластере с неродным акцентом, который составляет значительную долю нашей клиентской базы. В одном из них была снижена частота галлюцинаций: он давал уверенные, грамматически правильные расшифровки, которые иногда включали слова, вообще отсутствующие в аудиозаписи. Четвертый прошел все ворота и запущен в производство.

Выпускной клапан с участием человека

Когда оценка расшифровки в каком-либо сегменте ниже нашего порога достоверности, мы помечаем ее для проверки человеком, а не предоставляем с вводящим в заблуждение индикатором достоверности. Клиенты видят значок «низкая степень достоверности» на помеченных расшифровках. В нашей текущей производственной модели помечается примерно 3% транскриптов, и из них около 60% корректируются человеком перед доставкой. Альтернатива — доставка всех стенограмм без сигналов доверия — имеет более низкую цену обращения в службу поддержки вплоть до тех пор, пока клиент не потеряет работу из-за того, что мы неправильно указали номер обратного вызова.

Что дальше

Область с наибольшим оставшимся пробелом — это диалоги говорящих в многосторонних голосовых сообщениях — сообщениях, в которых звонящий передает телефон коллеге или партнеру, чтобы добавить дополнительный контекст. Текущие модели плохо справляются с этим, а влияние на ведение журналов CRM является значительным. Сейчас мы проводим отдельный цикл оценки кандидатов на диаризацию с целью выпустить улучшенную версию во втором квартале.