Quatre modèles de traduction ouverts, quatre étalons différents
TranslateGemma, Hy-MT2, Index-Translate et PLaMo 3 Translate utilisent des tests, métriques et rivaux différents : leurs affirmations de qualité ne se comparent pas directement.
Quatre familles de modèles de traduction ouverts sont arrivées en dix mois : TranslateGemma de Google en janvier 2026, Hy-MT2 de Tencent en mai, Index-Translate de Bilibili en septembre et PLaMo 3 Translate de Preferred Networks le 5 novembre. Chacun s’accompagnait d’un rapport où il brille. Lus côte à côte, les rapports révèlent autre chose : aucun deux ne mesure la qualité de la même façon.
Ce que mesure chaque rapport
| Modèle | Langues | Scores principaux | Comparé à |
|---|---|---|---|
| TranslateGemma | 55 | MetricX et COMET sur WMT24++, MQM humain sur WMT25, MetricX sur images Vistra | Ses propres baselines Gemma 3 |
| Hy-MT2 | 33 | Tests généraux, business, domaine et suivi d’instructions, plus son propre IFMTBench | DeepSeek-V4-Pro, Kimi K2.6, APIs Microsoft et Doubao |
| Index-Translate | 150 | COMET-22 sur FLORES et WMT24++, un juge LLM sur WMT26, ses propres jeux instTrans et MEME | Hy-MT2, TranslateGemma, Qwen3.5, DeepSeek-V4.1-Flash, GPT-5.6-Sol, Gemini 3.5 Flash Lite |
| PLaMo 3 Translate | 53 | chrF++ sur FLORES+, COMET-22 sur WMT24++ anglais vers japonais, ses propres jeux PFTB et SaaS | TranslateGemma et Hy-MT2 |
L’entrée du glossaire sur les métriques de traduction explique MetricX, COMET, chrF++ et MQM. Chaque ligne est le travail du développeur lui-même, et la plupart des jeux construits en interne ne sont pas publics.
Un benchmark, trois sens
WMT24++ est le seul test à apparaître dans plus d’un rapport, et chaque rapport l’emploie différemment. Google couvre 55 langues et rapporte MetricX, où plus bas est mieux, et COMET sur une échelle de 0 à 100. Bilibili teste l’anglais vers 20 langues avec COMET-22 sur une échelle de 0 à 1. PFN n’utilise que la piste anglais vers japonais, et dit que le benchmark contient des phrases courtes et des références qui l’inquiétaient ; il s’appuie donc surtout sur deux jeux maison. PFTB a des références rédigées avec plusieurs LLM, et le jeu SaaS traduit des pages web portant des balises HTML. Les deux sont notés par recouvrement de caractères avec la référence — ce que PFN juge valable quand les références sont bonnes.
Bilibili a aussi bâti ses propres jeux instTrans et MEME, et utilise GPT-5.6-Sol comme juge pour plusieurs de ses scores. L’entrée benchmark explique pourquoi les scores que les développeurs se rapportent à eux-mêmes demandent de la prudence : les réglages derrière sont souvent choisis pour montrer le modèle sous son meilleur jour.
Là où les affirmations se croisent
Deux rapports incluent des rivaux de ce groupe, il y a donc de quoi lire. Le tableau de Bilibili place son modèle 9B devant Hy-MT2-7B et TranslateGemma-12B sur huit des neuf colonnes, avec le plus grand écart sur le suivi d’instructions, que le gabarit documenté de TranslateGemma n’offre pas. Les deux rivaux devancent légèrement le sien sur un score à références d’IFMTBench. TranslateGemma-12B affiche aussi un taux hors-cible plus bas dans le test FLORES à faibles ressources du rapport : 1,7 % contre 4,0 % pour le modèle 9B.
IFMTBench mérite une remarque : Tencent l’a construit. C’est le seul test de suivi d’instructions ici qu’un rival rapporte aussi, et dessus l’Index-Translate 9B marque 0,8760 contre 0,8741 pour Hy-MT2-7B — un écart trop faible pour y voir une victoire. Les graphiques de PFN, à l’inverse, placent chaque taille de PLaMo devant TranslateGemma et Hy-MT2 sur les tests japonais-anglais et multilingues, mais omettent Index-Translate. Le rapport de Google ne compare TranslateGemma qu’à ses baselines Gemma 3, et le résumé de Tencent cite DeepSeek-V4-Pro, Kimi K2.6 et des APIs commerciales comme rivaux. Dans les deux tableaux incluant des rivaux du groupe, les rivaux arrivent derrière le modèle du développeur, et aucun tableau ne réunit les quatre. Nous n’avons trouvé aucune comparaison indépendante.
Qu’en retenir
Les différences que vous pouvez vérifier sans benchmark comptent davantage :
- Langues : 33 pour Hy-MT2, 53 pour PLaMo 3 Translate, 55 pour TranslateGemma et 150 pour Index-Translate.
- Licences : Apache 2.0 pour Hy-MT2 et Index-Translate, les Gemma Terms of Use avec une politique d’usage pour TranslateGemma, et la PLaMo Community License limitée en revenus.
- Limites et contrôles : TranslateGemma accepte 2K tokens d’entrée et un gabarit strict de codes de langue, PLaMo accepte 32 768 tokens entrée et sortie confondues, et Hy-MT2 et Index-Translate acceptent des instructions pour balises et glossaires, avec contrôle du ton chez Index-Translate.
- Versions réduites : un GGUF 4 bits de 0,57 Go pour PLaMo 0.8B, un GGUF 4 bits de 1,31 Go pour Index-Translate-2B et une version 1,25 bits de 440 Mo de Hy-MT2-1.8B.
Traduisez ensuite 50 à 100 phrases de votre propre texte avec deux ou trois candidats et faites-les lire à un locuteur de la langue cible. Notre liste des modèles de traduction et le guide pour choisir un modèle de traduction détaillent les étapes, et la page Index-Translate vs TranslateGemma compare les deux traducteurs qui acceptent les images.
Sources
- TranslateGemma Technical Report (arXiv 2601.09012) arxiv.org
- Hy-MT2: A Family of Fast, Efficient and Powerful Multilingual Translation Models in the Wild (arXiv 2605.22064) arxiv.org
- Index-Translate-9B model card (Hugging Face) huggingface.co
- Index-Translate: A Multilingual Translation Model Family (arXiv 2609.40181) arxiv.org
- PLaMo 3 Translate: World-Class Translation with Open Weights (PFN blog, 5 November 2026) preferred.jp
Modèles cités dans cet article
| Modèle | Sortie | Paramètres | Contexte | Licence | Mémoire requise (plus petite variante) |
|---|---|---|---|---|---|
| TranslateGemma EN Google DeepMind | 4.3B – 27.4B | 2K | Gemma Terms (Conditionnelle) | 2.97 GB Ordinateur portable ou smartphone | |
| Hy-MT2 EN Tencent | 2.04B – 30.1B 3B actifs | 256K | Apache 2.0 (Permissive) | 1.41 GB Ordinateur portable ou smartphone | |
| Index-Translate EN Bilibili | 2.27B – 36B 3B actifs | 256K | Apache 2.0 (Permissive) | 1.44 GB Ordinateur portable ou smartphone | |
| PLaMo 3 Translate EN Preferred Networks | 890M – 31.8B | 32K | PLaMo Community (Conditionnelle) | 0.614 GB Ordinateur portable ou smartphone |