翻訳評価指標(Translation metrics)

翻訳評価指標は、モデルカードが翻訳の質を示すために使うスコアです。人間の参考訳文との重なりを数えるものもあれば、訓練済みモデルや人間のレビュアーを使うものもあり、その尺度は相互に比較できません。

  • モデルの使い方
  • 更新日

古い指標は重なりを数えます。BLEUは単語列を人間の参考訳と比較し、chrF++は文字列を比較するため、言い回しは違っても正しい翻訳は減点されます。新しい指標は人間の評価で学習したニューラルモデルを使います。COMETとその変種XCOMETは、訳文を原文と参考訳に照らして採点します。GoogleのMetricXも同じ方式ですが、数値は低いほど良いです。MetricX-QEのような品質推定版は参考訳を必要とせず、GoogleはTranslateGemmaの学習時に、MetricX-QEと、言語モデルに人間のレビュアーのように誤りをマークさせるAutoMQMを報酬モデルとして使いました。MQMは人間版です。レビュアーが誤りをマークし、その減点を合計するため、やはり数値は低いほど良いです。モデルカードの中には大規模言語モデルを審査員に使うものもあり、Index-TranslateのレポートはWMT26の審査員スコアと指示追従テストにGPT-5.6-Solを使っています。

数字の比較には注意してください。TranslateGemmaのカードは0〜100の尺度でCOMETを示し、12Bモデルは55言語にわたるWMT24++で83.5です。Index-Translateのレポートは0〜1の尺度で、WMT24++では英語から20言語への翻訳を試しているため、9Bモデルの0.8601は別の測定です。PLaMo 3 TranslateはchrF++と内部の日英テストセットを報告しています。開発者自身の表も、どの競合モデルや設定を含めるかを自分で選んでいます。これらのモデルを網羅する独立したリーダーボードは見つからなかったため、自分の言語ペアで自分のテキストの50〜100文を翻訳し、目標言語の話者に読んでもらってください。

関連用語

  • ベンチマーク(Benchmark) ベンチマークはモデルを比較するための標準化されたテストで、数学、コーディング、知識問題のセットなどが使われます。スコアは参考になりますが、読みすぎには注意が必要です。
  • 機械翻訳(Machine translation) 機械翻訳は、テキスト、音声、画像内の文字をある言語から別の言語へ訳すソフトウェアです。今日のオープンモデルは、汎用モデルを出発点に翻訳専用に学習したものが主流です。
  • 単語エラー率(WER) 単語エラー率は音声認識の標準的な評価スコアです。正しい参考文と比べて、転写のうち誤っている語、欠けている語、余分な語の割合を示します。

すべての用語