Bagaimana kami menilai kualitas transkripsi pesan suara, dan apa yang kami potong

Perkenalan

Transkripsi pesan suara sepertinya masalah terpecahkan. Beberapa model ASR besar dapat mentranskripsikan audio studio yang jernih dengan akurasi yang mendekati manusia. Masalahnya adalah audio pesan suara hampir tidak pernah bersih. Penelepon menelepon dari mobil, lorong, lokasi konstruksi, dan speakerphone. Aksennya sangat bervariasi. Kata benda yang tepat — nama, perusahaan, alamat, kode produk — adalah tanda yang paling penting dan yang paling buruk ditangani oleh model. Inilah yang dirancang untuk ditampilkan oleh eval harness kami sebelum model menyentuh lalu lintas produksi.

Mengapa tingkat kesalahan kata saja tidak cukup

Tingkat Kesalahan Kata (WER) adalah metrik akademik standar untuk kualitas transkripsi. Ini mengukur pecahan kata dalam transkrip yang tidak cocok dengan referensi. Masalah dengan menggunakan WER sebagai satu-satunya gerbang Anda adalah bahwa kesalahan tidak selalu merugikan. Transkrip yang salah 'um' dan 'uh' tidak dikenakan biaya apa pun. Transkrip yang salah memasukkan nomor panggilan balik akan membuat Anda kehilangan pekerjaan.

Kami menjalankan WER sebagai pemeriksaan dasar, namun metrik gerbang kami adalah apa yang kami sebut Tingkat Kesalahan Kritis Entitas (ECER): pecahan entitas bernama — nomor telepon, alamat, nama pribadi, nama perusahaan, jumlah dolar — yang ditranskripsi dengan tidak benar. Model yang terlihat dapat diterima di WER bisa gagal total di ECER, terutama untuk ucapan beraksen dan kata benda di luar distribusi pelatihan.

Kumpulan data evaluasi

Perangkat evaluasi kami dibuat dari audio pesan suara asli dengan persetujuan pelanggan dan anonimisasi penuh sebelum diluncurkan. Kami mengelola sekitar 4.000 sampel yang dikelompokkan dalam lima lingkungan kebisingan (dalam ruangan yang tenang, mobil, suasana luar ruangan, musik latar, gema speaker ponsel), tiga kelompok aksen (Amerika Umum, Amerika Selatan, bahasa Inggris non-pribumi), dan empat jenis pesan (permintaan janji temu, keluhan, permintaan panggilan balik, pertanyaan umum).

Setiap sampel memiliki transkrip terverifikasi manusia yang ditinjau oleh dua anotator, dan perselisihan diselesaikan oleh anotator ketiga. Protokol anotasi menetapkan bahwa kata benda harus ditranskripsikan sebagai diucapkan, bukan dikoreksi ke entitas yang paling mungkin dituju — jika penelepon mengatakan 'Jonson', kami menulis 'Jonson', bukan 'Johnson'. Model yang secara diam-diam menormalkan kata benda yang tepat terlihat lebih baik pada set eval standar dan gagal dalam produksi pada hal yang paling penting.

Apa yang kami uji dan bagaimana caranya

• WER pada transkrip lengkap — gerbang dasar, harus lulus sebelum evaluasi lainnya dijalankan
• ECER pada entitas bernama — metrik gerbang; regresi apa pun di sini memblokir model kandidat
• Latensi di p95 — transkripsi harus selesai dalam waktu 8 detik setelah pesan suara berakhir untuk pengiriman notifikasi real-time
• Degradasi dalam kebisingan — delta WER antara sampel yang tenang dan berisik; model yang terdegradasi secara non-linear di bawah kebisingan sedang gagal dalam gerbang ini
• Penarikan kembali kata benda yang tepat — diuji secara khusus berdasarkan daftar 500 nama bisnis umum, jenis jalan, dan pola nomor telepon
• Tingkat halusinasi — sebagian kecil transkrip yang menyertakan konten yang tidak ada dalam audio; penting karena nomor panggilan balik yang berhalusinasi lebih buruk daripada tidak ada transkrip

Apa yang kami potong dan alasannya

Kami mengevaluasi empat kandidat model pada siklus terakhir. Dua terpotong di gerbang ECER — keduanya kuat di WER tetapi berkinerja buruk pada kata benda dalam kelompok aksen non-pribumi, yang mewakili sebagian besar basis pelanggan kami. Salah satunya dipotong pada tingkat halusinasi: menghasilkan transkrip yang percaya diri dan benar secara tata bahasa yang terkadang menyertakan kata-kata yang tidak ada sama sekali dalam audio. Yang keempat melewati semua gerbang dan mulai berproduksi.

Katup pelepasan manusia-dalam-lingkaran

Ketika skor transkrip berada di bawah ambang batas keyakinan kami pada segmen mana pun, kami menandai transkrip tersebut untuk ditinjau oleh manusia, bukan mengirimkannya dengan indikator keyakinan yang menyesatkan. Pelanggan melihat lencana 'keyakinan rendah' ​​pada transkrip yang ditandai. Dalam model produksi kami saat ini, sekitar 3% transkrip ditandai, dan sekitar 60% dikoreksi melalui peninjauan manusia sebelum dikirimkan. Alternatifnya — mengirimkan semua transkrip tanpa sinyal kepercayaan — memiliki tarif tiket dukungan yang lebih rendah hingga pelanggan kehilangan pekerjaan karena kami salah memasukkan nomor panggilan balik.

Apa selanjutnya

Area dengan kesenjangan terbesar yang tersisa adalah diarisisasi pembicara pada pesan suara multi-pihak — pesan di mana penelepon menyerahkan telepon kepada kolega atau mitra untuk menambahkan konteks tambahan. Model saat ini menangani hal ini dengan buruk, dan dampak hilir pada pencatatan CRM sangat signifikan. Kami sedang menjalankan siklus evaluasi terpisah pada kandidat diarisisasi sekarang, dengan tujuan mengirimkan versi yang lebih baik pada Q2.