四个开源翻译模型,四把不同的尺子
TranslateGemma、Hy-MT2、Index-Translate 和 PLaMo 3 Translate 各自用不同的测试集、指标和对手来报告质量,所以它们的说法无法直接比较。
十个月内出现了四个系列的开放翻译模型:2026 年 1 月谷歌的 TranslateGemma,5 月腾讯的 Hy-MT2,9 月哔哩哔哩的 Index-Translate,以及 11 月 5 日 Preferred Networks 的 PLaMo 3 Translate。每一个都附带一份报告,报告里它表现不错。把这些报告并排来看,会发现另一件事:没有任何两份报告用同一种方式衡量质量。
每份报告衡量什么
| 模型 | 语言数 | 主要分数 | 对比对象 |
|---|---|---|---|
| TranslateGemma | 55 | WMT24++ 上的 MetricX 和 COMET,WMT25 上的人工 MQM,Vistra 图片上的 MetricX | 它自己的 Gemma 3 基线 |
| Hy-MT2 | 33 | 通用、商业、领域和指令遵循测试,以及它自己的 IFMTBench | DeepSeek-V4-Pro、Kimi K2.6、微软和豆包的 API |
| Index-Translate | 150 | FLORES 和 WMT24++ 上的 COMET-22,WMT26 上的大模型裁判,自建的 instTrans 和 MEME 测试集 | Hy-MT2、TranslateGemma、Qwen3.5、DeepSeek-V4.1-Flash、GPT-5.6-Sol、Gemini 3.5 Flash Lite |
| PLaMo 3 Translate | 53 | FLORES+ 上的 chrF++,WMT24++ 英译日上的 COMET-22,自建的 PFTB 和 SaaS 测试集 | TranslateGemma 和 Hy-MT2 |
词条翻译评测指标解释了 MetricX、COMET、chrF++ 和 MQM。每一行都是开发者自己的工作,自建的测试集大多没有公开。
同一个基准,三种含义
WMT24++ 是唯一出现在多份报告里的测试,而每份报告用法都不同。谷歌覆盖 55 种语言,报告 MetricX(越低越好)和 0 到 100 刻度的 COMET。哔哩哔哩测的是英语到 20 种语言,用 0 到 1 刻度的 COMET-22。PFN 只用英译日这一条赛道,并且表示该基准的句子很短,参考译文的质量它也有疑虑,所以开发期间主要依靠自己的两套测试集。PFTB 的参考译文由多个大模型撰写,SaaS 测试集翻译带有 HTML 标签的网页。两者都按与参考译文的字符重合度打分,PFN 认为在参考译文足够好时这种做法是有效的。
哔哩哔哩同样自建了 instTrans 和 MEME 测试集,并且用 GPT-5.6-Sol 为它的多项分数当裁判。基准测试词条解释了为什么开发者自己报告的分数需要谨慎对待,因为背后的设置往往选择了最能展示模型优势的方案。
各家说法的交汇处
有两份报告包含了这组模型里的对手,所以有东西可读。哔哩哔哩的表格在九列中有八列把它的 9B 模型排在 Hy-MT2-7B 和 TranslateGemma-12B 前面,领先幅度最大的是指令遵循,而 TranslateGemma 已记录的模板并不提供这一点。两个对手都在 IFMTBench 的一项基于参考译文的分数上略微领先。在报告的低资源 FLORES 测试上,TranslateGemma-12B 偏离目标语言的比例也更低,为 1.7%,9B 模型为 4.0%。
IFMTBench 值得多说一句,因为它是腾讯做的。它是这几个模型里唯一一个对手也报告的指令遵循测试,在它上面,Index-Translate 9B 得分 0.8760,Hy-MT2-7B 是 0.8741,差距太小,不能当作胜负。反过来,PFN 的图表把所有尺寸的 PLaMo 都排在 TranslateGemma 和 Hy-MT2 前面,涉及日英和多语言测试,但它没有纳入 Index-Translate。谷歌的报告只拿 TranslateGemma 与它自己的 Gemma 3 基线比较,腾讯的摘要则点名 DeepSeek-V4-Pro、Kimi K2.6 和商业 API 为对手。在这组模型里包含对手的两张表格中,对手都排在开发者自己的模型之后,而且没有哪张表同时包含这四个模型。我们没有找到独立的对比。
从中可以得出什么
不需要基准就能核实的差异更重要:
- 语言: Hy-MT2 是 33 种,PLaMo 3 Translate 是 53 种,TranslateGemma 是 55 种,Index-Translate 是 150 种。
- 许可证: Hy-MT2 和 Index-Translate 采用 Apache 2.0,TranslateGemma 采用附带使用政策的 Gemma 使用条款,PLaMo 采用设有营收上限的 PLaMo 社区许可证。
- 限制与控制: TranslateGemma 的输入上限是 2K token,模板严格要求语言代码;PLaMo 的输入和输出合计 32,768 token;Hy-MT2 和 Index-Translate 接受针对标签和术语表的指令,Index-Translate 还能控制语气。
- 小体积版本: PLaMo 0.8B 的 4 位 GGUF 只有 0.57 GB,Index-Translate-2B 的 4 位 GGUF 是 1.31 GB,Hy-MT2-1.8B 的 1.25 位版本是 440 MB。
然后用你自己的文本,让两三个候选各翻译 50 到 100 句,并请目标语言的母语者阅读。我们的翻译模型榜单和翻译模型选择指南列出了具体步骤,Index-Translate 与 TranslateGemma 对比页面则比较了两个接受图片的翻译模型。
来源
- TranslateGemma Technical Report(arXiv 2601.09012) arxiv.org
- Hy-MT2: A Family of Fast, Efficient and Powerful Multilingual Translation Models in the Wild(arXiv 2605.22064) arxiv.org
- Index-Translate-9B 模型卡(Hugging Face) huggingface.co
- Index-Translate: A Multilingual Translation Model Family(arXiv 2609.40181) arxiv.org
- PLaMo 3 Translate: World-Class Translation with Open Weights(PFN 博客,2026 年 11 月 5 日) preferred.jp
本文涉及的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| TranslateGemma Google DeepMind | 4.3B – 27.4B | 2K | Gemma Terms (附条件) | 2.97 GB 笔记本或手机 | |
| Hy-MT2 Tencent | 2.04B – 30.1B 激活 3B | 256K | Apache 2.0 (宽松) | 1.41 GB 笔记本或手机 | |
| Index-Translate Bilibili | 2.27B – 36B 激活 3B | 256K | Apache 2.0 (宽松) | 1.44 GB 笔记本或手机 | |
| PLaMo 3 Translate Preferred Networks | 890M – 31.8B | 32K | PLaMo Community (附条件) | 0.614 GB 笔记本或手机 |