词错误率(WER)
词错误率是语音识别的标准评分:转写稿中与正确参考稿相比,错误、缺失或多余的词所占的比例。
WER 以人工撰写的参考稿为准,统计三类错误:被替换的词、被漏掉的词和多出来的词。把它们加起来,再除以参考稿的词数,所以 5% 大约表示每 20 个词有 1 个错。数值越低越好;如果模型插入了大量多余的词,分数甚至可以超过 100%。
模型卡报告的是公开测试集上的 WER,例如清晰的朗读语音,这些通常比真实录音容易。同一个模型在会议、电话、口音或噪声下的得分可能差别很大,打分前对文本做规范化的方式也会改变结果,所以不同来源的数字并不总能对得上。请在你自己的音频样本上测试。对中文等不用空格分词的语言,则改用字错误率。
相关术语
- 语音识别(ASR、语音转文字) 语音识别又称 ASR 或语音转文字,把说出的音频转成书面文字。
- 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。