हम वॉइसमेल ट्रांसक्रिप्शन गुणवत्ता कैसे स्कोर करते हैं, और हम क्या कटौती करते हैं

परिचय

वॉइसमेल ट्रांस्क्रिप्शन एक सुलझी हुई समस्या की तरह लगता है। कई बड़े एएसआर मॉडल लगभग मानवीय सटीकता पर स्वच्छ स्टूडियो ऑडियो को प्रसारित कर सकते हैं। समस्या यह है कि वॉइसमेल ऑडियो लगभग कभी भी साफ़ नहीं होता है। कॉल करने वाले कारों, हॉलवे, निर्माण स्थलों और स्पीकरफ़ोन से कॉल करते हैं। उच्चारण व्यापक रूप से भिन्न होते हैं। व्यक्तिवाचक संज्ञा - नाम, कंपनियां, पते, उत्पाद कोड - बिल्कुल ऐसे टोकन हैं जो सबसे अधिक मायने रखते हैं और जिन्हें मॉडल सबसे खराब तरीके से संभालते हैं। यह वही है जो हमारे ईवल हार्नेस को किसी मॉडल के उत्पादन ट्रैफ़िक को छूने से पहले सतह पर लाने के लिए डिज़ाइन किया गया है।

अकेले शब्द त्रुटि दर पर्याप्त क्यों नहीं है?

शब्द त्रुटि दर (WER) प्रतिलेखन गुणवत्ता के लिए मानक शैक्षणिक मीट्रिक है। यह मापता है कि प्रतिलेख में शब्दों का कौन सा अंश संदर्भ से मेल नहीं खाता है। WER को आपके एकमात्र गेट के रूप में उपयोग करने में समस्या यह है कि त्रुटियाँ समान रूप से महंगी नहीं होती हैं। एक प्रतिलेख जिसमें 'उम' और 'उह' गलत हो जाता है, उसकी कोई कीमत नहीं होती। एक प्रतिलेख जिसमें कॉलबैक नंबर गलत मिलता है तो आपकी नौकरी चली जाती है।

हम WER को बेसलाइन जांच के रूप में चलाते हैं, लेकिन हमारी गेटिंग मीट्रिक को हम एंटिटी-क्रिटिकल एरर रेट (ECER) कहते हैं: नामित संस्थाओं का अंश - फोन नंबर, पते, व्यक्तिगत नाम, कंपनी के नाम, डॉलर की राशि - जो गलत तरीके से लिखे गए हैं। एक मॉडल जो WER पर स्वीकार्य दिखता है, ECER पर बुरी तरह विफल हो सकता है, विशेष रूप से प्रशिक्षण वितरण के बाहर उच्चारण भाषण और उचित संज्ञाओं के लिए।

इवल डेटासेट

हमारा ईवल सेट पाइपलाइन में प्रवेश करने से पहले ग्राहक की सहमति और पूर्ण गुमनामी के साथ वास्तविक ध्वनि मेल ऑडियो से बनाया गया है। हम पांच शोर वातावरणों (शांत इनडोर, कार, बाहरी परिवेश, पृष्ठभूमि संगीत, स्पीकरफोन रीवरब), तीन उच्चारण समूहों (सामान्य अमेरिकी, दक्षिणी अमेरिकी, गैर-देशी अंग्रेजी), और चार संदेश प्रकार (नियुक्ति अनुरोध, शिकायत, कॉलबैक अनुरोध, सामान्य पूछताछ) में स्तरीकृत लगभग 4,000 नमूने बनाए रखते हैं।

प्रत्येक नमूने में एक मानव-सत्यापित प्रतिलेख है जिसकी दो व्याख्याकारों द्वारा समीक्षा की गई और तीसरे द्वारा असहमति का समाधान किया गया। एनोटेशन प्रोटोकॉल निर्दिष्ट करता है कि उचित संज्ञाओं को बोले गए रूप में लिखा जाना चाहिए, न कि सबसे संभावित इच्छित इकाई के लिए सही किया जाना चाहिए - यदि कोई कॉल करने वाला 'जॉनसन' कहता है तो हम 'जॉनसन' लिखते हैं, 'जॉनसन' नहीं। मॉडल जो चुपचाप उचित संज्ञाओं को सामान्यीकृत करते हैं, मानक मूल्यांकन सेट पर बेहतर दिखते हैं और उत्पादन में असफल होते हैं जहां यह सबसे ज्यादा मायने रखता है।

हम क्या परीक्षण करते हैं और कैसे

• पूर्ण प्रतिलेख पर WER - बेसलाइन गेट, किसी भी अन्य मूल्यांकन से पहले पारित होना चाहिए
• नामित संस्थाओं पर ईसीईआर - गेटिंग मीट्रिक; यहां कोई भी प्रतिगमन उम्मीदवार मॉडल को अवरुद्ध करता है
• पी95 पर विलंबता - वास्तविक समय अधिसूचना वितरण के लिए ध्वनि मेल समाप्त होने के 8 सेकंड के भीतर प्रतिलेखन पूरा हो जाना चाहिए
• शोर के तहत गिरावट - शांत और शोर वाले नमूनों के बीच WER डेल्टा; मध्यम शोर के तहत गैर-रैखिक रूप से ख़राब होने वाले मॉडल इस गेट को विफल कर देते हैं
• व्यक्तिवाचक संज्ञा स्मरण - विशेष रूप से 500 सामान्य व्यावसायिक नामों, सड़क के प्रकारों और फ़ोन नंबर पैटर्न की सूची के विरुद्ध परीक्षण किया गया
• मतिभ्रम दर - प्रतिलेखों का अंश जिसमें ऑडियो में मौजूद सामग्री शामिल नहीं है; महत्वपूर्ण है क्योंकि एक मतिभ्रम कॉलबैक नंबर प्रतिलेख न होने से भी बदतर है

हमने क्या काटा और क्यों

हमने पिछले चक्र में चार उम्मीदवार मॉडलों का मूल्यांकन किया। ईसीईआर गेट पर दो को काट दिया गया - दोनों डब्ल्यूईआर पर मजबूत थे लेकिन गैर-देशी उच्चारण क्लस्टर में उचित संज्ञाओं पर खराब प्रदर्शन किया, जो हमारे ग्राहक आधार का एक महत्वपूर्ण हिस्सा दर्शाता है। एक को मतिभ्रम दर पर काटा गया था: इसने आत्मविश्वासपूर्ण, व्याकरणिक रूप से सही प्रतिलिपि तैयार की जिसमें कभी-कभी ऐसे शब्द भी शामिल थे जो ऑडियो में मौजूद नहीं थे। चौथे ने सभी गेट पार कर लिए हैं और उत्पादन में चल रहा है।

मानव-इन-द-लूप एस्केप वाल्व

जब कोई प्रतिलेख किसी खंड पर हमारे विश्वास सीमा से नीचे स्कोर करता है, तो हम उसे भ्रामक विश्वास संकेतक के साथ प्रस्तुत करने के बजाय मानवीय समीक्षा के लिए चिह्नित करते हैं। ग्राहकों को ध्वजांकित प्रतिलेखों पर 'कम आत्मविश्वास' का बैज दिखाई देता है। हमारे वर्तमान उत्पादन मॉडल में, लगभग 3% प्रतिलेखों को चिह्नित किया जाता है, और उनमें से लगभग 60% को डिलीवरी से पहले मानव समीक्षा द्वारा सही किया जाता है। विकल्प - विश्वास संकेतों के बिना सभी प्रतिलेखों को वितरित करना - कम समर्थन टिकट दर है जब तक कि ग्राहक की नौकरी छूट न जाए क्योंकि हमें कॉलबैक नंबर गलत मिला है।

आगे क्या होगा

सबसे बड़ा शेष अंतर वाला क्षेत्र मल्टी-पार्टी वॉइसमेल पर स्पीकर डायराइजेशन है - संदेश जहां कॉल करने वाला अतिरिक्त संदर्भ जोड़ने के लिए किसी सहकर्मी या साथी को फोन सौंपता है। वर्तमान मॉडल इसे खराब तरीके से संभालते हैं, और सीआरएम लॉगिंग पर डाउनस्ट्रीम प्रभाव महत्वपूर्ण है। हम अब डायराइज़ेशन उम्मीदवारों पर एक अलग मूल्यांकन चक्र चला रहे हैं, जिसका लक्ष्य Q2 में एक बेहतर संस्करण शिपिंग करना है।