ボイスメールの文字起こしの品質をスコアリングする方法と、何をカットするか

導入

ボイスメールの文字起こしは解決された問題のように思えます。いくつかの大型 ASR モデルは、人間に近い精度でクリーン スタジオ オーディオを転写できます。問題は、ボイスメールの音声がきれいになることがほとんどないことです。発信者は、車、廊下、建設現場、スピーカーフォンから電話をかけます。アクセントは大きく異なります。固有名詞 (名前、会社、住所、製品コード) はまさに最も重要なトークンであり、モデルが最も扱いにくいトークンです。これは、モデルが本番トラフィックに接触する前に、評価ハーネスが表面化するように設計されているものです。

単語の誤り率だけでは不十分な理由

Word Error Rate (WER) は、文字起こしの品質に関する標準的な学術指標です。トランスクリプト内の単語のどの部分が参照と一致しないかを測定します。 WER を唯一のゲートとして使用する場合の問題は、エラーによるコストが均一ではないことです。 「えー」と「あのー」を間違えたトランスクリプトには費用はかかりません。コールバック番号を間違った記録を作成すると、仕事にコストがかかります。

当社ではベースライン チェックとして WER を実行していますが、ゲート メトリクスはエンティティ クリティカル エラー率 (ECER) と呼ばれるものです。これは、名前付きエンティティ (電話番号、住所、個人名、会社名、金額) のうち、誤って転記された割合です。 WER では許容できるように見えるモデルでも、ECER では、特にトレーニング分布外のアクセントのある音声や固有名詞の場合に大きく失敗する可能性があります。

評価データセット

当社の評価セットは、パイプラインに入る前に顧客の同意と完全な匿名化を得て、実際のボイスメール音声から構築されています。当社は、5 つの騒音環境 (静かな屋内、車内、屋外環境、バックグラウンド ミュージック、スピーカーフォンの残響)、3 つのアクセント クラスター (一般的なアメリカ人、南アメリカ人、非ネイティブの英語)、および 4 つのメッセージ タイプ (アポイントのリクエスト、苦情、コールバックのリクエスト、一般的な問い合わせ) にわたって階層化された約 4,000 のサンプルを維持しています。

各サンプルには人間が検証した記録が含まれており、2 人のアノテーターによってレビューされ、意見の相違は 3 人目のアノテーターによって解決されました。アノテーション プロトコルでは、固有名詞は話されたとおりに転写する必要があり、最も意図されたものに修正するのではなく、発信者が「ジョンソン」と言った場合、「ジョンソン」ではなく「ジョンソン」と書きます。固有名詞を黙って正規化するモデルは、標準の eval セットでは見栄えが良くなりますが、本番環境では最も重要な部分で失敗します。

何をどのようにテストするか

• 完全なトランスクリプトの WER — ベースライン ゲート、他の評価を実行する前に通過する必要があります
• 名前付きエンティティの ECER — ゲート メトリック。ここで回帰が発生すると候補モデルがブロックされます
• p95 の遅延 — リアルタイム通知配信のため、文字起こしはボイスメール終了後 8 秒以内に完了する必要があります
• ノイズ下での劣化 — 静かなサンプルとノイズのあるサンプル間の WER デルタ。中程度のノイズの下で非線形に劣化するモデルはこのゲートに合格しません
• 固有名詞の再現 - 500 件の一般的な企業名、番地、電話番号のパターンのリストに対して特別にテスト
• 幻覚率 — 音声に存在しないコンテンツを含むトランスクリプトの割合。幻覚コールバック番号はトランスクリプトがないより悪いため、重要です

カットした内容とその理由

前回のサイクルでは 4 つの候補モデルを評価しました。 2 件は ECER のゲートでカットされました。どちらも WER では優れていましたが、当社の顧客ベースの大きなシェアを占める非ネイティブアクセントクラスターの固有名詞ではパフォーマンスが悪かったのです。 1 つは幻覚率を削減したもので、自信を持って文法的に正しいトランスクリプトを生成しましたが、音声にまったく存在しない単語が含まれる場合もありました。 4 番目はすべてのゲートを通過し、本番環境で実行されています。

人間参加型エスケープバルブ

トランスクリプトのスコアがいずれかのセグメントの信頼性しきい値を下回った場合、誤解を招く信頼性指標を提供するのではなく、人間によるレビューのためにフラグを立てます。顧客には、フラグが立てられたトランスクリプトに「信頼性が低い」バッジが表示されます。当社の現在の運用モデルでは、トランスクリプトの約 3% にフラグが付けられ、そのうち約 60% は納品前に人によるレビューによって修正されます。代替案 (信頼性シグナルなしですべてのトランスクリプトを配信する) では、コールバック番号を間違えたために顧客が仕事を失うまで、サポート チケットのレートが低くなります。

次は何ですか

最も大きなギャップが残っているのは、複数パーティのボイスメールでの話者ダイアリゼーション、つまり発信者が追加のコンテキストを追加するために同僚やパートナーに電話を渡すメッセージです。現在のモデルではこれへの対応が不十分であり、CRM ログに対する下流の影響は重大です。現在、第 2 四半期に改善されたバージョンを出荷することを目標に、ダイアライゼーション候補に対して別の評価サイクルを実行しています。