4 つのオープン翻訳モデル、4 つの異なる物差し

TranslateGemma、Hy-MT2、Index-Translate、PLaMo 3 Translate はそれぞれ異なるテストセット・指標・比較相手で品質を報告しており、主張を直接比較できません。

  • 解説
  • 約 7 分で読めます
  • 公開日

10 か月の間に 4 つのオープン翻訳モデルファミリーが登場しました。2026 年 1 月の Google の TranslateGemma、5 月の Tencent の Hy-MT2、9 月の Bilibili の Index-Translate、そして 11 月 5 日の Preferred Networks の PLaMo 3 Translate です。いずれも自社が有利になるレポートを添えて登場しました。並べて読むと、それとは別のことが見えてきます。品質の測り方が同じものは 2 つとしてないのです。

各レポートが測っているもの

モデル 言語数 主なスコア 比較相手
TranslateGemma 55 WMT24++ での MetricX と COMET、WMT25 での人手 MQM、Vistra 画像での MetricX 自社の Gemma 3 ベースライン
Hy-MT2 33 汎用・ビジネス・ドメイン・指示追従テスト、独自の IFMTBench DeepSeek-V4-Pro、Kimi K2.6、Microsoft と Doubao の API
Index-Translate 150 FLORES と WMT24++ での COMET-22、WMT26 での LLM 審査、独自の instTrans と MEME セット Hy-MT2、TranslateGemma、Qwen3.5、DeepSeek-V4.1-Flash、GPT-5.6-Sol、Gemini 3.5 Flash Lite
PLaMo 3 Translate 53 FLORES+ での chrF++、WMT24++ 英日での COMET-22、独自の PFTB と SaaS セット TranslateGemma と Hy-MT2

翻訳指標の用語集で MetricX、COMET、chrF++、MQM を説明しています。どの行も開発者自身の取り組みであり、社内で作られたテストセットの多くは公開されていません。

1 つのベンチマーク、3 つの意味

WMT24++ は複数のレポートに登場する唯一のテストですが、使い方はそれぞれ異なります。Google は 55 言語をカバーし、低いほど良い MetricX と 0〜100 スケールの COMET を報告しています。Bilibili は英語から 20 言語への翻訳を 0〜1 スケールの COMET-22 でテストしました。PFN は英日トラックのみを使い、このベンチマークには短い文と、懸念のある参照訳があるとして、主に自社の 2 つのセットに頼りました。PFTB の参照訳は複数の LLM で書かれており、SaaS セットは HTML タグを含む Web ページを翻訳します。どちらも参照訳との文字重なりで採点され、PFN は参照訳が良ければ機能すると主張しています。

Bilibili も独自の instTrans と MEME セットを作り、複数のスコアの判定に GPT-5.6-Sol を使っています。ベンチマークの項目で、開発者自身が報告するスコアに注意が必要な理由を説明しています。背後の設定は自社モデルを最も良く見せるよう選ばれることが多いためです。

主張が交わる場所

比較相手にこのグループのモデルを含むレポートが 2 つあり、読むべきものがあります。Bilibili の表では 9B モデルが 9 列中 8 列で Hy-MT2-7B と TranslateGemma-12B を上回ります。差が最も大きいのは指示追従で、TranslateGemma の文書化されたテンプレートはこれを提供していません。2 つの競合は、参照ベースの IFMTBench スコアの 1 つでわずかに先行しています。また TranslateGemma-12B は、同レポートの低リソース FLORES テストでオフターゲット率が低く、1.7% 対 9B モデルの 4.0% です。

IFMTBench には注目すべき点があります。Tencent が作ったものだからです。競合も報告している唯一の指示追従テストですが、これについて Index-Translate 9B は 0.8760、Hy-MT2-7B は 0.8741 で、勝ちと読める差ではありません。一方 PFN のチャートでは、すべての PLaMo サイズが日英・多言語テストで TranslateGemma と Hy-MT2 の双方を上回りますが、Index-Translate は載っていません。Google のレポートは TranslateGemma を自社の Gemma 3 ベースラインとだけ比較し、Tencent の要旨は競合として DeepSeek-V4-Pro、Kimi K2.6、商用 API を挙げています。このグループの競合を含む 2 つの表では競合が開発者自身のモデルの後にランク付けされ、4 モデルすべてを含む表はありません。独立した比較は見つかりませんでした。

何を読み取るか

ベンチマークなしで確認できる違いのほうが重要です。

  • 言語数: Hy-MT2 は 33、PLaMo 3 Translate は 53、TranslateGemma は 55、Index-Translate は 150。
  • ライセンス: Hy-MT2 と Index-Translate は Apache 2.0、TranslateGemma は利用ポリシー付きの Gemma Terms of Use、PLaMo は収益制限付きの PLaMo Community License。
  • 制限と制御: TranslateGemma は入力 2K トークンと厳密な言語コードテンプレート、PLaMo は入出力合計 32,768 トークン、Hy-MT2 と Index-Translate はタグや用語集の指示を受け付け、Index-Translate ではトーン制御も可能。
  • 小さいビルド: PLaMo 0.8B の 4 ビット GGUF 0.57 GB、Index-Translate-2B の 4 ビット GGUF 1.31 GB、Hy-MT2-1.8B の 1.25 ビットビルド 440 MB。

そのうえで、自分のテキスト 50〜100 文を 2〜3 候補で翻訳し、対象言語の話者に読んでもらいましょう。翻訳モデルのリストと翻訳モデルの選び方ガイドに手順をまとめており、Index-Translate vs TranslateGemma のページで、画像を受け付ける 2 つの翻訳モデルを比較しています。

出典

この記事で取り上げているモデル

モデル リリース日 パラメータ数 コンテキスト ライセンス 最小バリエーションの必要メモリ
TranslateGemma EN Google DeepMind 4.3B – 27.4B 2K Gemma Terms (条件付き) 2.97 GB ノートPCまたはスマートフォン
Hy-MT2 EN Tencent 2.04B – 30.1B アクティブ 3B 256K Apache 2.0 (パーミッシブ) 1.41 GB ノートPCまたはスマートフォン
Index-Translate EN Bilibili 2.27B – 36B アクティブ 3B 256K Apache 2.0 (パーミッシブ) 1.44 GB ノートPCまたはスマートフォン
PLaMo 3 Translate EN Preferred Networks 890M – 31.8B 32K PLaMo Community (条件付き) 0.614 GB ノートPCまたはスマートフォン