Частота ошибок в словах (WER)
Частота ошибок в словах — стандартная оценка для распознавания речи: доля слов в транскрипте, которые ошибочны, пропущены или лишние по сравнению с правильной ссылкой.
WER считает три вида ошибок относительно ссылки, написанной человеком: заменённые слова, пропущенные слова и вставленные слова. Она складывает их и делит на число слов в ссылке, поэтому 5% означает, что примерно одно слово из двадцати неверно. Ниже — лучше, и оценка может превысить 100%, если модель вставляет много лишних слов.
Карточки моделей сообщают WER на публичных тестовых наборах, например чистой начитанной речи, которые обычно легче реальных записей. Одна и та же модель может показывать на совещаниях, звонках, при акцентах или шуме совершенно разные результаты, а способ нормализации текста перед оценкой меняет цифры, поэтому числа из разных источников не всегда сходятся. Тестируйте на образце собственного аудио. Для китайского и других языков, которые пишутся без пробелов, вместо этого используется частота ошибок в символах.
Связанные термины
- Распознавание речи (ASR, speech-to-text) Распознавание речи, также называемое ASR или speech-to-text, превращает звуковую речь в письменный текст.
- Бенчмарк (Benchmark) Бенчмарк — это стандартизированный тест для сравнения моделей, например набор задач по математике, программированию или знаниям; оценки полезны, но им легко придать слишком большое значение.