Jak oceniamy jakość transkrypcji poczty głosowej i co wycinamy

Wstęp

Transkrypcja poczty głosowej wydaje się być rozwiązanym problemem. Kilka dużych modeli ASR może transkrybować czysty dźwięk studyjny z niemal ludzką dokładnością. Problem polega na tym, że dźwięk poczty głosowej prawie nigdy nie jest czysty. Rozmówcy dzwonią z samochodów, korytarzy, placów budowy i korzystając z zestawów głośnomówiących. Akcenty są bardzo zróżnicowane. Rzeczowniki własne — nazwy, firmy, adresy, kody produktów — to dokładnie te tokeny, które mają największe znaczenie i te, z którymi modele radzą sobie najgorzej. Właśnie to zaprojektowaliśmy, aby nasza uprząż eval wypłynęła na powierzchnię, zanim model w ogóle trafi do ruchu produkcyjnego.

Dlaczego sam współczynnik błędów słownych nie wystarczy

Współczynnik błędów słów (WER) to standardowy akademicki miernik jakości transkrypcji. Mierzy, jaka część słów w transkrypcie nie pasuje do odniesienia. Problem z używaniem WER jako jedynej bramki polega na tym, że błędy nie są jednakowo kosztowne. Transkrypcja zawierająca błędne „um” i „uch” nic Cię nie kosztuje. Transkrypcja, która zawiera błędny numer oddzwonienia, kosztuje Cię pracę.

Używamy WER jako kontroli bazowej, ale naszą metryką bramkowania jest to, co nazywamy współczynnikiem błędów krytycznych jednostki (ECER): część nazwanych jednostek – numery telefonów, adresy, nazwiska, nazwy firm, kwoty w dolarach – które są przepisywane nieprawidłowo. Model, który wygląda na akceptowalny w WER, może źle zawieść w ECER, szczególnie w przypadku mowy akcentowanej i rzeczowników własnych spoza dystrybucji szkoleniowej.

Zbiór danych ewaluacyjnych

Nasz zestaw ewaluacyjny składa się z prawdziwego dźwięku poczty głosowej za zgodą klienta i pełną anonimizacją przed jego wprowadzeniem do rurociągu. Przechowujemy około 4000 próbek podzielonych na pięć środowisk hałasu (ciche pomieszczenie, samochód, otoczenie na zewnątrz, muzyka w tle, pogłos zestawu głośnomówiącego), trzy grupy akcentów (ogólny amerykański, południowoamerykański, obcy angielski) i cztery typy wiadomości (prośba o spotkanie, skarga, prośba o oddzwonienie, ogólne zapytanie).

Każda próbka zawiera transkrypcję zweryfikowaną przez człowieka, która została sprawdzona przez dwóch adnotatorów, a spory zostały rozwiązane przez trzeciego. Protokół adnotacji określa, że ​​rzeczowniki własne muszą być transkrybowane w formie mówionej, a nie poprawiane do najbardziej prawdopodobnej zamierzonej jednostki — jeśli rozmówca powie „Jonson”, piszemy „Jonson”, a nie „Johnson”. Modele, które po cichu normalizują rzeczowniki własne, wyglądają lepiej na standardowych zestawach eval i nie działają dokładnie tam, gdzie ma to największe znaczenie.

Co i jak testujemy

• WER na pełnym transkrypcie — bramka bazowa, musi zostać zaliczony przed rozpoczęciem jakichkolwiek innych ocen
• ECER na nazwanych podmiotach – metryka bramkowania; jakakolwiek regresja blokuje model kandydujący
• Opóźnienie w p95 — transkrypcja powinna zakończyć się w ciągu 8 sekund od zakończenia poczty głosowej, aby powiadomienie mogło zostać dostarczone w czasie rzeczywistym
• Degradacja pod wpływem hałasu — delta WER pomiędzy próbkami cichymi i zaszumionymi; modele, które ulegają degradacji nieliniowej pod wpływem umiarkowanego hałasu, nie spełniają tej bramki
• Zapamiętywanie nazw własnych — specjalnie testowane na podstawie listy 500 popularnych nazw firm, typów ulic i wzorców numerów telefonów
• Wskaźnik halucynacji — część transkrypcji zawierająca treści, których nie ma w nagraniu audio; krytyczne, ponieważ halucynacyjny numer oddzwonienia jest gorszy niż brak transkrypcji

Co wycinamy i dlaczego

W ostatnim cyklu oceniliśmy cztery modele kandydatów. Dwa z nich zostały odcięte przy bramce ECER — oba wypadły dobrze w zakresie WER, ale słabo radziły sobie z rzeczownikami własnymi w obcym skupieniu akcentów, które stanowią znaczną część naszej bazy klientów. Jeden został odcięty ze względu na częstość halucynacji: generował pewne, poprawne gramatycznie transkrypcje, które czasami zawierały słowa w ogóle nieobecne w nagraniu. Czwarty przeszedł wszystkie bramy i jest już w produkcji.

Zawór ucieczkowy typu „człowiek w pętli”.

Jeśli transkrypcja w jakimkolwiek segmencie uzyska wynik poniżej naszego progu ufności, oznaczamy ją do weryfikacji ręcznej, zamiast dostarczać ją z wprowadzającym w błąd wskaźnikiem pewności. Klienci widzą plakietkę „niskiego zaufania” na oznaczonych transkrypcjach. W naszym obecnym modelu produkcji około 3% transkryptów jest oznaczanych, a około 60% z nich jest korygowanych przez człowieka przed dostawą. Alternatywa — dostarczanie wszystkich transkrypcji bez sygnałów zaufania — wiąże się z niższą stawką za zgłoszenie do pomocy technicznej aż do momentu, gdy klient straci pracę z powodu błędnego podania numeru zwrotnego.

Co dalej

Obszarem, w którym występuje największa luka, jest diaryzacja osób mówiących w wielostronnych wiadomościach głosowych — wiadomościach, w których osoba dzwoniąca przekazuje telefon współpracownikowi lub partnerowi, aby dodać dodatkowy kontekst. Obecne modele słabo sobie z tym radzą, a dalszy wpływ na rejestrowanie CRM jest znaczący. Prowadzimy teraz oddzielny cykl oceny kandydatów do diaryzacji, a celem jest dostarczenie ulepszonej wersji w drugim kwartale.