四个开源翻译模型,四把不同的尺子

TranslateGemma、Hy-MT2、Index-Translate 和 PLaMo 3 Translate 各自用不同的测试集、指标和对手来报告质量,所以它们的说法无法直接比较。

  • 分析
  • 阅读约 6 分钟
  • 发布于

十个月内出现了四个系列的开放翻译模型:2026 年 1 月谷歌的 TranslateGemma,5 月腾讯的 Hy-MT2,9 月哔哩哔哩的 Index-Translate,以及 11 月 5 日 Preferred Networks 的 PLaMo 3 Translate。每一个都附带一份报告,报告里它表现不错。把这些报告并排来看,会发现另一件事:没有任何两份报告用同一种方式衡量质量。

每份报告衡量什么

模型 语言数 主要分数 对比对象
TranslateGemma 55 WMT24++ 上的 MetricX 和 COMET,WMT25 上的人工 MQM,Vistra 图片上的 MetricX 它自己的 Gemma 3 基线
Hy-MT2 33 通用、商业、领域和指令遵循测试,以及它自己的 IFMTBench DeepSeek-V4-Pro、Kimi K2.6、微软和豆包的 API
Index-Translate 150 FLORES 和 WMT24++ 上的 COMET-22,WMT26 上的大模型裁判,自建的 instTrans 和 MEME 测试集 Hy-MT2、TranslateGemma、Qwen3.5、DeepSeek-V4.1-Flash、GPT-5.6-Sol、Gemini 3.5 Flash Lite
PLaMo 3 Translate 53 FLORES+ 上的 chrF++,WMT24++ 英译日上的 COMET-22,自建的 PFTB 和 SaaS 测试集 TranslateGemma 和 Hy-MT2

词条翻译评测指标解释了 MetricX、COMET、chrF++ 和 MQM。每一行都是开发者自己的工作,自建的测试集大多没有公开。

同一个基准,三种含义

WMT24++ 是唯一出现在多份报告里的测试,而每份报告用法都不同。谷歌覆盖 55 种语言,报告 MetricX(越低越好)和 0 到 100 刻度的 COMET。哔哩哔哩测的是英语到 20 种语言,用 0 到 1 刻度的 COMET-22。PFN 只用英译日这一条赛道,并且表示该基准的句子很短,参考译文的质量它也有疑虑,所以开发期间主要依靠自己的两套测试集。PFTB 的参考译文由多个大模型撰写,SaaS 测试集翻译带有 HTML 标签的网页。两者都按与参考译文的字符重合度打分,PFN 认为在参考译文足够好时这种做法是有效的。

哔哩哔哩同样自建了 instTrans 和 MEME 测试集,并且用 GPT-5.6-Sol 为它的多项分数当裁判。基准测试词条解释了为什么开发者自己报告的分数需要谨慎对待,因为背后的设置往往选择了最能展示模型优势的方案。

各家说法的交汇处

有两份报告包含了这组模型里的对手,所以有东西可读。哔哩哔哩的表格在九列中有八列把它的 9B 模型排在 Hy-MT2-7B 和 TranslateGemma-12B 前面,领先幅度最大的是指令遵循,而 TranslateGemma 已记录的模板并不提供这一点。两个对手都在 IFMTBench 的一项基于参考译文的分数上略微领先。在报告的低资源 FLORES 测试上,TranslateGemma-12B 偏离目标语言的比例也更低,为 1.7%,9B 模型为 4.0%。

IFMTBench 值得多说一句,因为它是腾讯做的。它是这几个模型里唯一一个对手也报告的指令遵循测试,在它上面,Index-Translate 9B 得分 0.8760,Hy-MT2-7B 是 0.8741,差距太小,不能当作胜负。反过来,PFN 的图表把所有尺寸的 PLaMo 都排在 TranslateGemma 和 Hy-MT2 前面,涉及日英和多语言测试,但它没有纳入 Index-Translate。谷歌的报告只拿 TranslateGemma 与它自己的 Gemma 3 基线比较,腾讯的摘要则点名 DeepSeek-V4-Pro、Kimi K2.6 和商业 API 为对手。在这组模型里包含对手的两张表格中,对手都排在开发者自己的模型之后,而且没有哪张表同时包含这四个模型。我们没有找到独立的对比。

从中可以得出什么

不需要基准就能核实的差异更重要:

  • 语言: Hy-MT2 是 33 种,PLaMo 3 Translate 是 53 种,TranslateGemma 是 55 种,Index-Translate 是 150 种。
  • 许可证: Hy-MT2 和 Index-Translate 采用 Apache 2.0,TranslateGemma 采用附带使用政策的 Gemma 使用条款,PLaMo 采用设有营收上限的 PLaMo 社区许可证。
  • 限制与控制: TranslateGemma 的输入上限是 2K token,模板严格要求语言代码;PLaMo 的输入和输出合计 32,768 token;Hy-MT2 和 Index-Translate 接受针对标签和术语表的指令,Index-Translate 还能控制语气。
  • 小体积版本: PLaMo 0.8B 的 4 位 GGUF 只有 0.57 GB,Index-Translate-2B 的 4 位 GGUF 是 1.31 GB,Hy-MT2-1.8B 的 1.25 位版本是 440 MB。

然后用你自己的文本,让两三个候选各翻译 50 到 100 句,并请目标语言的母语者阅读。我们的翻译模型榜单和翻译模型选择指南列出了具体步骤,Index-Translate 与 TranslateGemma 对比页面则比较了两个接受图片的翻译模型。

来源

本文涉及的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
TranslateGemma Google DeepMind 4.3B – 27.4B 2K Gemma Terms (附条件) 2.97 GB 笔记本或手机
Hy-MT2 Tencent 2.04B – 30.1B 激活 3B 256K Apache 2.0 (宽松) 1.41 GB 笔记本或手机
Index-Translate Bilibili 2.27B – 36B 激活 3B 256K Apache 2.0 (宽松) 1.44 GB 笔记本或手机
PLaMo 3 Translate Preferred Networks 890M – 31.8B 32K PLaMo Community (附条件) 0.614 GB 笔记本或手机