Hoe we de kwaliteit van voicemailtranscripties beoordelen en wat we knippen

Invoering

Voicemailtranscriptie klinkt als een opgelost probleem. Verschillende grote ASR-modellen kunnen zuivere studioaudio met bijna menselijke nauwkeurigheid transcriberen. Het probleem is dat voicemailaudio bijna nooit schoon is. Bellers bellen vanuit auto's, gangen, bouwplaatsen en luidsprekertelefoons. Accenten lopen sterk uiteen. Eigennamen – namen, bedrijven, adressen, productcodes – zijn precies de tokens die er het meest toe doen en die waar modellen het slechtst mee omgaan. Dit is wat ons evaluatieharnas is ontworpen om naar boven te komen voordat een model ooit in productieverkeer komt.

Waarom het aantal woordfouten alleen niet voldoende is

Word Error Rate (WER) is de standaard academische maatstaf voor transcriptiekwaliteit. Het meet welk deel van de woorden in een transcript niet overeenkomt met de referentie. Het probleem met het gebruik van WER als enige poort is dat fouten niet allemaal even duur zijn. Een transcriptie met 'eh' en 'uh' fout kost u niets. Een transcript waarbij het terugbelnummer verkeerd wordt vermeld, kost u de klus.

We voeren WER uit als basiscontrole, maar onze poortstatistiek is wat we Entity-Critical Error Rate (ECER) noemen: de fractie van genoemde entiteiten (telefoonnummers, adressen, persoonlijke namen, bedrijfsnamen, dollarbedragen) die onjuist zijn getranscribeerd. Een model dat er op WER acceptabel uitziet, kan slecht mislukken op ECER, vooral voor spraak met accenten en eigennamen buiten de trainingsdistributie.

De eval-gegevensset

Onze evaluatieset is opgebouwd uit echte voicemailaudio met toestemming van de klant en volledige anonimisering voordat deze in de pijplijn komt. We houden ongeveer 4.000 samples bij, verdeeld over vijf geluidsomgevingen (stille binnenruimte, auto, buitenomgeving, achtergrondmuziek, nagalm van de luidspreker), drie accentclusters (algemeen Amerikaans, Zuid-Amerikaans, niet-moedertaal Engels) en vier berichttypen (afspraakverzoek, klacht, terugbelverzoek, algemeen onderzoek).

Elk monster heeft een door mensen geverifieerd transcript dat is beoordeeld door twee annotators, waarbij de meningsverschillen door een derde zijn opgelost. Het annotatieprotocol specificeert dat eigennamen moeten worden getranscribeerd zoals ze worden uitgesproken, en niet moeten worden gecorrigeerd naar de meest waarschijnlijke bedoelde entiteit. Als een beller 'Jonson' zegt, schrijven we 'Jonson', niet 'Johnson'. Modellen die eigennamen stilzwijgend normaliseren, zien er beter uit op standaard eval-sets en falen in de productie precies daar waar het er het meest toe doet.

Wat we testen en hoe

• WER op volledig transcript - basislijnpoort, moet slagen voordat andere evaluaties worden uitgevoerd
• ECER voor benoemde entiteiten — poortmetriek; elke regressie hier blokkeert een kandidaat-model
• Latentie op p95: de transcriptie moet binnen 8 seconden na het einde van de voicemail zijn voltooid voor realtime bezorging van meldingen
• Degradatie onder ruis — WER-delta tussen stille en luidruchtige monsters; modellen die niet-lineair degraderen bij matige ruis voldoen niet aan deze poort
• Terugroepen van de juiste zelfstandig naamwoorden – specifiek getest aan de hand van een lijst van 500 veelvoorkomende bedrijfsnamen, straattypen en telefoonnummerpatronen
• Hallucinatiepercentage – fractie van transcripties die inhoud bevatten die niet in de audio aanwezig is; van cruciaal belang omdat een gehallucineerd terugbelnummer erger is dan geen transcript

Wat we snijden en waarom

In de afgelopen cyclus hebben we vier kandidaatmodellen geëvalueerd. Twee daarvan vielen weg bij de ECER-poort – beide waren sterk op WER, maar presteerden slecht op eigennamen in het niet-native accentcluster, dat een aanzienlijk deel van ons klantenbestand vertegenwoordigt. Bij één ervan werd bezuinigd op het aantal hallucinaties: het leverde zelfverzekerde, grammaticaal correcte transcripties op die af en toe woorden bevatten die helemaal niet in de audio aanwezig waren. De vierde heeft alle poorten doorstaan ​​en is in productie.

De human-in-the-loop-ontsnappingsklep

Wanneer een transcriptie op een bepaald segment onder onze betrouwbaarheidsdrempel scoort, markeren we het voor menselijke beoordeling in plaats van het af te leveren met een misleidende vertrouwensindicator. Klanten zien een badge met 'laag vertrouwen' op gemarkeerde transcripties. In ons huidige productiemodel wordt ongeveer 3% van de transcripties gemarkeerd, en daarvan wordt ongeveer 60% vóór levering gecorrigeerd door menselijke beoordeling. Het alternatief – het leveren van alle transcripties zonder vertrouwenssignalen – heeft een lager aantal supporttickets tot het moment dat een klant een baan verliest omdat we een verkeerd terugbelnummer hadden.

Wat is het volgende

Het gebied met de grootste resterende kloof is de sprekersdagboekregistratie bij voicemails van meerdere partijen: berichten waarbij een beller de telefoon aan een collega of partner overhandigt om extra context toe te voegen. De huidige modellen gaan hier slecht mee om, en het downstream-effect op CRM-logboekregistratie is aanzienlijk. We voeren nu een aparte evaluatiecyclus uit voor dagboekkandidaten, met als doel in het tweede kwartaal een verbeterde versie te leveren.