Cách chúng tôi chấm điểm chất lượng phiên âm thư thoại và những gì chúng tôi cắt giảm

Giới thiệu

Phiên âm thư thoại có vẻ như đã giải quyết được vấn đề. Một số mẫu ASR lớn có thể ghi lại âm thanh phòng thu trong trẻo với độ chính xác gần như con người. Vấn đề là âm thanh thư thoại hầu như không bao giờ rõ ràng. Người gọi gọi từ ô tô, hành lang, công trường và loa ngoài. Giọng rất khác nhau. Danh từ riêng - tên, công ty, địa chỉ, mã sản phẩm - chính xác là những mã thông báo quan trọng nhất và là những mã mà mô hình xử lý tệ nhất. Đây là những gì dây nịt eval của chúng tôi được thiết kế để hiển thị trước khi một mô hình chạm vào lưu lượng sản xuất.

Tại sao tỷ lệ lỗi từ thôi là không đủ

Tỷ lệ lỗi từ (WER) là thước đo học thuật tiêu chuẩn về chất lượng phiên âm. Nó đo lường tỷ lệ từ trong bản ghi không khớp với tài liệu tham khảo. Vấn đề với việc sử dụng WER làm cổng duy nhất của bạn là các lỗi không gây tốn kém một cách thống nhất. Một bản ghi sai 'ừm' và 'ừ' sẽ không mất phí. Một bản ghi có số gọi lại sai sẽ khiến bạn mất việc.

Chúng tôi chạy WER như một bước kiểm tra cơ bản, nhưng số liệu đo cổng của chúng tôi là cái mà chúng tôi gọi là Tỷ lệ lỗi nghiêm trọng thực thể (ECER): tỷ lệ các thực thể được đặt tên — số điện thoại, địa chỉ, tên cá nhân, tên công ty, số tiền — được phiên âm không chính xác. Một mô hình có vẻ chấp nhận được trên WER có thể thất bại nặng nề trên ECER, đặc biệt đối với lời nói có trọng âm và danh từ riêng nằm ngoài phân bổ đào tạo.

Tập dữ liệu đánh giá

Bộ đánh giá của chúng tôi được xây dựng từ âm thanh thư thoại thực với sự đồng ý của khách hàng và ẩn danh hoàn toàn trước khi nó được đưa vào hệ thống. Chúng tôi duy trì khoảng 4.000 mẫu được phân tầng theo năm môi trường tiếng ồn (trong nhà yên tĩnh, ô tô, môi trường ngoài trời, nhạc nền, âm vang của loa ngoài), ba cụm giọng (tiếng Mỹ thông thường, tiếng Nam Mỹ, tiếng Anh không phải tiếng mẹ đẻ) và bốn loại thông báo (yêu cầu cuộc hẹn, khiếu nại, yêu cầu gọi lại, yêu cầu chung).

Mỗi mẫu có một bản ghi được con người xác minh, được hai người chú thích xem xét và những bất đồng được giải quyết bởi một phần ba. Giao thức chú thích chỉ định rằng các danh từ riêng phải được phiên âm như được nói, không được sửa thành thực thể có khả năng xảy ra nhất — nếu người gọi nói 'Jonson', chúng tôi viết 'Jonson', không phải 'Johnson'. Các mô hình âm thầm bình thường hóa danh từ riêng trông đẹp hơn trên các bộ eval tiêu chuẩn và thất bại trong quá trình sản xuất ở chính xác nơi nó quan trọng nhất.

Những gì chúng tôi kiểm tra và làm thế nào

• WER trên bản ghi đầy đủ - cổng cơ sở, phải vượt qua trước bất kỳ lần đánh giá nào khác
• ECER trên các thực thể được đặt tên - số liệu kiểm soát; bất kỳ hồi quy nào ở đây đều chặn mô hình ứng cử viên
• Độ trễ ở mức p95 - quá trình sao chép sẽ hoàn tất trong vòng 8 giây kể từ khi kết thúc thư thoại để gửi thông báo theo thời gian thực
• Suy thoái dưới tiếng ồn - WER delta giữa các mẫu yên tĩnh và ồn ào; các mô hình suy giảm phi tuyến tính dưới mức nhiễu vừa phải không đạt được cổng này
• Thu hồi danh từ riêng - được kiểm tra cụ thể dựa trên danh sách 500 tên doanh nghiệp, loại đường và mẫu số điện thoại phổ biến
• Tỷ lệ ảo giác - tỷ lệ bản ghi bao gồm nội dung không có trong âm thanh; rất quan trọng vì số gọi lại ảo giác còn tệ hơn là không có bản ghi

Những gì chúng tôi cắt và tại sao

Chúng tôi đã đánh giá bốn mô hình ứng cử viên trong chu kỳ trước. Hai đã bị loại ở cổng ECER - cả hai đều mạnh về WER nhưng hoạt động kém với các danh từ riêng trong cụm giọng không phải tiếng mẹ đẻ, chiếm một phần đáng kể trong cơ sở khách hàng của chúng tôi. Một cái đã bị cắt giảm tỷ lệ ảo giác: nó tạo ra các bản ghi chính xác, chắc chắn về mặt ngữ pháp, đôi khi bao gồm các từ hoàn toàn không có trong âm thanh. Chiếc thứ tư đã vượt qua tất cả các cổng và đang được đưa vào sản xuất.

Van thoát hiểm của con người trong vòng lặp

Khi bản ghi có điểm dưới ngưỡng tin cậy của chúng tôi trên bất kỳ phân đoạn nào, chúng tôi sẽ gắn cờ bản ghi đó để con người xem xét thay vì cung cấp bản ghi đó kèm theo chỉ báo độ tin cậy gây hiểu lầm. Khách hàng nhìn thấy huy hiệu "độ tin cậy thấp" trên bản ghi bị gắn cờ. Trong mô hình sản xuất hiện tại của chúng tôi, khoảng 3% bản ghi được gắn cờ và trong số đó, khoảng 60% được sửa bởi sự đánh giá của con người trước khi gửi. Giải pháp thay thế — cung cấp tất cả bản ghi mà không có tín hiệu tin cậy — có tỷ lệ yêu cầu hỗ trợ thấp hơn cho đến khi khách hàng mất việc vì chúng tôi gọi nhầm số.

Tiếp theo là gì

Lĩnh vực có khoảng cách lớn nhất còn lại là phân loại giọng nói trên thư thoại nhiều bên - những tin nhắn trong đó người gọi đưa điện thoại cho đồng nghiệp hoặc đối tác để bổ sung thêm ngữ cảnh. Các mô hình hiện tại xử lý vấn đề này kém và ảnh hưởng đáng kể đến việc ghi nhật ký CRM. Hiện tại, chúng tôi đang chạy một chu trình đánh giá riêng biệt đối với các ứng cử viên phân tích dữ liệu, với mục tiêu cung cấp phiên bản cải tiến trong Quý 2.