Частота ошибок в словах (WER)

Частота ошибок в словах — стандартная оценка для распознавания речи: доля слов в транскрипте, которые ошибочны, пропущены или лишние по сравнению с правильной ссылкой.

  • Использование моделей
  • Обновлено

WER считает три вида ошибок относительно ссылки, написанной человеком: заменённые слова, пропущенные слова и вставленные слова. Она складывает их и делит на число слов в ссылке, поэтому 5% означает, что примерно одно слово из двадцати неверно. Ниже — лучше, и оценка может превысить 100%, если модель вставляет много лишних слов.

Карточки моделей сообщают WER на публичных тестовых наборах, например чистой начитанной речи, которые обычно легче реальных записей. Одна и та же модель может показывать на совещаниях, звонках, при акцентах или шуме совершенно разные результаты, а способ нормализации текста перед оценкой меняет цифры, поэтому числа из разных источников не всегда сходятся. Тестируйте на образце собственного аудио. Для китайского и других языков, которые пишутся без пробелов, вместо этого используется частота ошибок в символах.

Связанные термины

  • Распознавание речи (ASR, speech-to-text) Распознавание речи, также называемое ASR или speech-to-text, превращает звуковую речь в письменный текст.
  • Бенчмарк (Benchmark) Бенчмарк — это стандартизированный тест для сравнения моделей, например набор задач по математике, программированию или знаниям; оценки полезны, но им легко придать слишком большое значение.

Все термины