เราให้คะแนนคุณภาพการถอดข้อความเสียงอย่างไร และสิ่งที่เราตัดออก

การแนะนำ

การถอดข้อความเสียงดูเหมือนปัญหาได้รับการแก้ไขแล้ว ASR ขนาดใหญ่หลายรุ่นสามารถถ่ายทอดเสียงสตูดิโอที่สะอาดตาด้วยความแม่นยำใกล้เคียงมนุษย์ ปัญหาคือเสียงวอยซ์เมลแทบจะไม่สะอาดเลย ผู้โทรโทรจากรถยนต์ ทางเดิน สถานที่ก่อสร้าง และสปีกเกอร์โฟน สำเนียงแตกต่างกันอย่างมาก คำนามที่เหมาะสม เช่น ชื่อ บริษัท ที่อยู่ รหัสผลิตภัณฑ์ ล้วนเป็นโทเค็นที่สำคัญที่สุดและโมเดลนั้นจัดการได้แย่ที่สุด นี่คือสิ่งที่สายรัดประเมินของเราได้รับการออกแบบมาให้แสดงก่อนที่แบบจำลองจะสัมผัสกับปริมาณการใช้งานจริง

เหตุใดอัตราข้อผิดพลาดของคำเพียงอย่างเดียวจึงไม่เพียงพอ

อัตราความผิดพลาดของคำ (WER) คือตัวชี้วัดทางวิชาการมาตรฐานสำหรับคุณภาพการถอดเสียง โดยจะวัดเศษส่วนของคำในการถอดเสียงที่ไม่ตรงกับข้อมูลอ้างอิง ปัญหาในการใช้ WER เป็นเกตเดียวของคุณก็คือ ข้อผิดพลาดไม่ได้มีค่าใช้จ่ายที่สม่ำเสมอ การถอดเสียงที่ 'อืม' และ 'เอ่อ' ผิดไม่มีค่าใช้จ่ายใด ๆ การถอดเสียงที่ได้รับหมายเลขโทรกลับผิดทำให้คุณต้องเสียงาน

เราเรียกใช้ WER เป็นการตรวจสอบพื้นฐาน แต่การวัด gating ของเราคือสิ่งที่เราเรียกว่าอัตราข้อผิดพลาดร้ายแรงของเอนทิตี (ECER): เศษส่วนของเอนทิตีที่มีชื่อ — หมายเลขโทรศัพท์ ที่อยู่ ชื่อบุคคล ชื่อบริษัท จำนวนเงินดอลลาร์ — ที่มีการถอดเสียงไม่ถูกต้อง แบบจำลองที่ WER ดูเป็นที่ยอมรับอาจล้มเหลวได้ไม่ดีใน ECER โดยเฉพาะอย่างยิ่งสำหรับคำพูดเน้นเสียงและคำนามที่เหมาะสมนอกการกระจายการฝึกอบรม

ชุดข้อมูล eval

ชุดการประเมินของเราสร้างขึ้นจากเสียงวอยซ์เมลจริงโดยได้รับความยินยอมจากลูกค้าและการลบข้อมูลระบุตัวตนโดยสมบูรณ์ก่อนที่จะเข้าสู่ไปป์ไลน์ เรารักษาตัวอย่างประมาณ 4,000 ตัวอย่างโดยแบ่งตามสภาพแวดล้อมที่มีเสียงรบกวนห้าแบบ (ในร่มที่เงียบสงบ รถยนต์ บรรยากาศภายนอกอาคาร เสียงเพลงประกอบ เสียงสะท้อนของสปีกเกอร์โฟน) กลุ่มสำเนียงสามกลุ่ม (อเมริกันทั่วไป อเมริกาใต้ ภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา) และประเภทข้อความสี่ประเภท (คำขอนัดหมาย การร้องเรียน คำขอโทรกลับ การสอบถามทั่วไป)

แต่ละตัวอย่างมีบทถอดเสียงที่ผ่านการตรวจสอบโดยมนุษย์ ซึ่งได้รับการตรวจสอบโดยผู้อธิบายประกอบสองคน โดยมีข้อขัดแย้งได้รับการแก้ไขโดยหนึ่งในสาม โปรโตคอลคำอธิบายประกอบระบุว่าคำนามเฉพาะต้องได้รับการถอดเสียงเป็นภาษาพูด ไม่ใช่การแก้ไขให้ตรงกับคำที่ตั้งใจไว้มากที่สุด หากผู้โทรพูดว่า 'Jonson' เราจะเขียนว่า 'Jonson' ไม่ใช่ 'Johnson' โมเดลที่ทำให้คำนามที่เหมาะสมเป็นมาตรฐานแบบเงียบๆ จะดูดีกว่าในชุดการประเมินมาตรฐาน และล้มเหลวในการผลิตตรงจุดที่สำคัญที่สุด

สิ่งที่เราทดสอบและอย่างไร

• WER ในการถอดเสียงแบบเต็ม - ประตูพื้นฐานจะต้องผ่านก่อนที่จะดำเนินการประเมินอื่น ๆ
• ECER ในเอนทิตีที่มีชื่อ — เกทเมตริก; การถดถอยใดๆ ที่นี่จะบล็อกโมเดลผู้สมัคร
• เวลาแฝงที่ p95 — การถอดเสียงควรเสร็จสิ้นภายใน 8 วินาทีหลังจากข้อความเสียงสิ้นสุดสำหรับการส่งการแจ้งเตือนแบบเรียลไทม์
• การย่อยสลายภายใต้เสียงรบกวน — เดลต้า WER ระหว่างตัวอย่างที่เงียบและมีเสียงดัง โมเดลที่ลดระดับไม่เป็นเชิงเส้นภายใต้สัญญาณรบกวนปานกลางจะล้มเหลวในเกตนี้
• การจำคำนามที่เหมาะสม — ทดสอบโดยเฉพาะกับรายชื่อธุรกิจทั่วไป ประเภทถนน และรูปแบบหมายเลขโทรศัพท์ 500 ชื่อ
• อัตราอาการประสาทหลอน - เศษของการถอดเสียงที่มีเนื้อหาที่ไม่ปรากฏในเสียง สำคัญมากเพราะหมายเลขโทรกลับที่หลอนนั้นแย่ยิ่งกว่าไม่มีการถอดเสียง

สิ่งที่เราตัดและทำไม

เราประเมินแบบจำลองผู้สมัครสี่แบบในรอบที่แล้ว สองรายการถูกตัดที่ประตู ECER - ทั้งสองรายการมีความแข็งแกร่งใน WER แต่ดำเนินการได้ไม่ดีกับคำนามที่เหมาะสมในกลุ่มสำเนียงที่ไม่ใช่เจ้าของภาษา ซึ่งแสดงถึงส่วนแบ่งที่สำคัญของฐานลูกค้าของเรา อย่างหนึ่งถูกตัดออกจากอัตราการเกิดภาพหลอน: สร้างการถอดเสียงที่มีความมั่นใจและถูกต้องตามหลักไวยากรณ์ ซึ่งบางครั้งอาจมีคำที่ไม่มีอยู่ในเสียงเลย ตัวที่สี่ผ่านประตูทั้งหมดและกำลังดำเนินการอยู่ในการผลิต

วาล์วหนีภัยแบบมนุษย์ในวง

เมื่อข้อความถอดเสียงมีคะแนนต่ำกว่าเกณฑ์ความเชื่อมั่นของเราในส่วนใดก็ตาม เราจะติดธงทำเครื่องหมายเพื่อให้มีการตรวจสอบโดยเจ้าหน้าที่ แทนที่จะส่งโดยมีตัวบ่งชี้ความเชื่อมั่นที่ทำให้เข้าใจผิด ลูกค้าเห็นป้าย 'ความมั่นใจต่ำ' บนทรานสคริปต์ที่ถูกตั้งค่าสถานะ ในรูปแบบการผลิตปัจจุบันของเรา มีการทำเครื่องหมายข้อความถอดเสียงประมาณ 3% และในจำนวนนั้น ประมาณ 60% ได้รับการแก้ไขโดยการตรวจสอบโดยเจ้าหน้าที่ก่อนส่งมอบ ทางเลือกอื่น — การส่งสำเนาทั้งหมดโดยไม่มีสัญญาณความมั่นใจ — มีอัตราตั๋วการสนับสนุนที่ต่ำกว่าจนกว่าลูกค้าจะตกงานเนื่องจากเราได้รับหมายเลขโทรกลับผิด

อะไรต่อไป

พื้นที่ที่มีช่องว่างที่เหลืออยู่มากที่สุดคือการแยกเสียงของผู้พูดในข้อความเสียงหลายฝ่าย ซึ่งเป็นข้อความที่ผู้โทรส่งโทรศัพท์ให้เพื่อนร่วมงานหรือคู่หูเพื่อเพิ่มบริบทเพิ่มเติม โมเดลปัจจุบันจัดการเรื่องนี้ได้ไม่ดี และผลกระทบดาวน์สตรีมต่อการบันทึก CRM มีความสำคัญมาก ขณะนี้เรากำลังดำเนินการรอบการประเมินแยกต่างหากสำหรับตัวเลือกการแยกแยะ โดยมีเป้าหมายในการจัดส่งเวอร์ชันที่ได้รับการปรับปรุงในไตรมาสที่ 2