Quatre modèles de traduction ouverts, quatre étalons différents

TranslateGemma, Hy-MT2, Index-Translate et PLaMo 3 Translate utilisent des tests, métriques et rivaux différents : leurs affirmations de qualité ne se comparent pas directement.

  • Analyse
  • 4 min de lecture
  • Publié le

Quatre familles de modèles de traduction ouverts sont arrivées en dix mois : TranslateGemma de Google en janvier 2026, Hy-MT2 de Tencent en mai, Index-Translate de Bilibili en septembre et PLaMo 3 Translate de Preferred Networks le 5 novembre. Chacun s’accompagnait d’un rapport où il brille. Lus côte à côte, les rapports révèlent autre chose : aucun deux ne mesure la qualité de la même façon.

Ce que mesure chaque rapport

Modèle Langues Scores principaux Comparé à
TranslateGemma 55 MetricX et COMET sur WMT24++, MQM humain sur WMT25, MetricX sur images Vistra Ses propres baselines Gemma 3
Hy-MT2 33 Tests généraux, business, domaine et suivi d’instructions, plus son propre IFMTBench DeepSeek-V4-Pro, Kimi K2.6, APIs Microsoft et Doubao
Index-Translate 150 COMET-22 sur FLORES et WMT24++, un juge LLM sur WMT26, ses propres jeux instTrans et MEME Hy-MT2, TranslateGemma, Qwen3.5, DeepSeek-V4.1-Flash, GPT-5.6-Sol, Gemini 3.5 Flash Lite
PLaMo 3 Translate 53 chrF++ sur FLORES+, COMET-22 sur WMT24++ anglais vers japonais, ses propres jeux PFTB et SaaS TranslateGemma et Hy-MT2

L’entrée du glossaire sur les métriques de traduction explique MetricX, COMET, chrF++ et MQM. Chaque ligne est le travail du développeur lui-même, et la plupart des jeux construits en interne ne sont pas publics.

Un benchmark, trois sens

WMT24++ est le seul test à apparaître dans plus d’un rapport, et chaque rapport l’emploie différemment. Google couvre 55 langues et rapporte MetricX, où plus bas est mieux, et COMET sur une échelle de 0 à 100. Bilibili teste l’anglais vers 20 langues avec COMET-22 sur une échelle de 0 à 1. PFN n’utilise que la piste anglais vers japonais, et dit que le benchmark contient des phrases courtes et des références qui l’inquiétaient ; il s’appuie donc surtout sur deux jeux maison. PFTB a des références rédigées avec plusieurs LLM, et le jeu SaaS traduit des pages web portant des balises HTML. Les deux sont notés par recouvrement de caractères avec la référence — ce que PFN juge valable quand les références sont bonnes.

Bilibili a aussi bâti ses propres jeux instTrans et MEME, et utilise GPT-5.6-Sol comme juge pour plusieurs de ses scores. L’entrée benchmark explique pourquoi les scores que les développeurs se rapportent à eux-mêmes demandent de la prudence : les réglages derrière sont souvent choisis pour montrer le modèle sous son meilleur jour.

Là où les affirmations se croisent

Deux rapports incluent des rivaux de ce groupe, il y a donc de quoi lire. Le tableau de Bilibili place son modèle 9B devant Hy-MT2-7B et TranslateGemma-12B sur huit des neuf colonnes, avec le plus grand écart sur le suivi d’instructions, que le gabarit documenté de TranslateGemma n’offre pas. Les deux rivaux devancent légèrement le sien sur un score à références d’IFMTBench. TranslateGemma-12B affiche aussi un taux hors-cible plus bas dans le test FLORES à faibles ressources du rapport : 1,7 % contre 4,0 % pour le modèle 9B.

IFMTBench mérite une remarque : Tencent l’a construit. C’est le seul test de suivi d’instructions ici qu’un rival rapporte aussi, et dessus l’Index-Translate 9B marque 0,8760 contre 0,8741 pour Hy-MT2-7B — un écart trop faible pour y voir une victoire. Les graphiques de PFN, à l’inverse, placent chaque taille de PLaMo devant TranslateGemma et Hy-MT2 sur les tests japonais-anglais et multilingues, mais omettent Index-Translate. Le rapport de Google ne compare TranslateGemma qu’à ses baselines Gemma 3, et le résumé de Tencent cite DeepSeek-V4-Pro, Kimi K2.6 et des APIs commerciales comme rivaux. Dans les deux tableaux incluant des rivaux du groupe, les rivaux arrivent derrière le modèle du développeur, et aucun tableau ne réunit les quatre. Nous n’avons trouvé aucune comparaison indépendante.

Qu’en retenir

Les différences que vous pouvez vérifier sans benchmark comptent davantage :

  • Langues : 33 pour Hy-MT2, 53 pour PLaMo 3 Translate, 55 pour TranslateGemma et 150 pour Index-Translate.
  • Licences : Apache 2.0 pour Hy-MT2 et Index-Translate, les Gemma Terms of Use avec une politique d’usage pour TranslateGemma, et la PLaMo Community License limitée en revenus.
  • Limites et contrôles : TranslateGemma accepte 2K tokens d’entrée et un gabarit strict de codes de langue, PLaMo accepte 32 768 tokens entrée et sortie confondues, et Hy-MT2 et Index-Translate acceptent des instructions pour balises et glossaires, avec contrôle du ton chez Index-Translate.
  • Versions réduites : un GGUF 4 bits de 0,57 Go pour PLaMo 0.8B, un GGUF 4 bits de 1,31 Go pour Index-Translate-2B et une version 1,25 bits de 440 Mo de Hy-MT2-1.8B.

Traduisez ensuite 50 à 100 phrases de votre propre texte avec deux ou trois candidats et faites-les lire à un locuteur de la langue cible. Notre liste des modèles de traduction et le guide pour choisir un modèle de traduction détaillent les étapes, et la page Index-Translate vs TranslateGemma compare les deux traducteurs qui acceptent les images.

Sources

Modèles cités dans cet article

Modèle Sortie Paramètres Contexte Licence Mémoire requise (plus petite variante)
TranslateGemma EN Google DeepMind 4.3B – 27.4B 2K Gemma Terms (Conditionnelle) 2.97 GB Ordinateur portable ou smartphone
Hy-MT2 EN Tencent 2.04B – 30.1B 3B actifs 256K Apache 2.0 (Permissive) 1.41 GB Ordinateur portable ou smartphone
Index-Translate EN Bilibili 2.27B – 36B 3B actifs 256K Apache 2.0 (Permissive) 1.44 GB Ordinateur portable ou smartphone
PLaMo 3 Translate EN Preferred Networks 890M – 31.8B 32K PLaMo Community (Conditionnelle) 0.614 GB Ordinateur portable ou smartphone