翻译评测指标
翻译评测指标是模型卡用来给译文打分的数值。有的统计与人工参考译文的重合度,有的用训练过的模型或人工评审,它们的刻度不能直接比较。
较早的指标统计重合度。BLEU 比较词序列与人工参考译文的重合,chrF++ 比较字符序列,所以措辞不同但正确的译文也会被扣分。较新的指标用一个按人工评分训练出的神经网络模型。COMET 及其变体 XCOMET 把译文与原文和参考译文对照打分,谷歌的 MetricX 做法类似,但数值越低越好。MetricX-QE 这类质量估计版本不需要参考译文,谷歌训练 TranslateGemma 时就把 MetricX-QE 和 AutoMQM(让语言模型像人工评审那样标出错误)当作奖励模型。MQM 是人工版本:评审员标出错误,把扣分累加起来,所以分数越低越好。有些模型卡还用大语言模型当裁判,Index-Translate 的报告就用 GPT-5.6-Sol 给它的 WMT26 裁判分数和指令遵循测试打分。
比较数字要小心。TranslateGemma 的模型卡用 0 到 100 的刻度给出 COMET,12B 模型在覆盖 55 种语言的 WMT24++ 上是 83.5。Index-Translate 的报告用 0 到 1 的刻度,WMT24++ 只测英语到 20 种语言,所以它的 9B 模型得到的 0.8601 是另一种测量。PLaMo 3 Translate 报告的是 chrF++ 和一套内部的日英测试集。开发者自己的表格也会自己挑选要纳入的对手模型和设置。我们没有找到覆盖这些模型的独立排行榜,请用你自己的语言对翻译 50 到 100 句自己的文本,并请目标语言的母语者读一遍。
相关术语
- 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
- 机器翻译 机器翻译是把文本、语音或图片里的文字从一种语言翻译成另一种语言的软件。如今的开放模型通常以通用模型为起点,再训练成只做翻译。
- 词错误率(WER) 词错误率是语音识别的标准评分:转写稿中与正确参考稿相比,错误、缺失或多余的词所占的比例。