単語エラー率(WER)

単語エラー率は音声認識の標準的な評価スコアです。正しい参考文と比べて、転写のうち誤っている語、欠けている語、余分な語の割合を示します。

  • モデルの使い方
  • 更新日

WERは、人間が書いた参考文を基準に、置き換わった語、削除された語、挿入された語の3種類の誤りを数えます。それらを合計し、参考文の語数で割るので、5%は20語に1語程度が誤りであることを意味します。数値は低いほど良く、モデルが余分な語を多く挿入すると100%を超えることもあります。

モデルカードが報告するWERは、きれいな読み上げ音声のような公開テストセットに基づくもので、通常は実際の録音より容易です。同じモデルでも、会議、電話、訛り、ノイズの下ではスコアが大きく変わることがあり、採点前のテキストの正規化の仕方も結果を変えるため、別々のソースからの数値は必ずしも一致しません。ご自身の音声のサンプルで試してください。中国語のようなスペースで区切らない言語では、代わりに文字エラー率(CER)が使われます。

関連用語

  • 音声認識(ASR、音声文字起こし) 音声認識はASRや音声文字起こしとも呼ばれ、話された音声を書かれたテキストに変換します。
  • ベンチマーク(Benchmark) ベンチマークはモデルを比較するための標準化されたテストで、数学、コーディング、知識問題のセットなどが使われます。スコアは参考になりますが、読みすぎには注意が必要です。

すべての用語