Vier offene Übersetzungsmodelle, vier verschiedene Maßstäbe

TranslateGemma, Hy-MT2, Index-Translate und PLaMo 3 Translate berichten Qualität auf unterschiedlichen Testsets, Metriken und Vergleichsgegnern – ihre Angaben lassen sich nicht direkt vergleichen.

  • Analyse
  • 3 Min. Lesezeit
  • Veröffentlicht

Innerhalb von zehn Monaten erschienen vier Familien offener Übersetzungsmodelle: TranslateGemma von Google im Januar 2026, Hy-MT2 von Tencent im Mai, Index-Translate von Bilibili im September und PLaMo 3 Translate von Preferred Networks am 5. November. Jedes kam mit einem Bericht, in dem es glänzt. Liest man die Berichte nebeneinander, zeigt sich etwas anderes: Keine zwei messen Qualität auf dieselbe Weise.

Was jeder Bericht misst

Modell Sprachen Wichtigste Scores Verglichen mit
TranslateGemma 55 MetricX und COMET auf WMT24++, menschliches MQM auf WMT25, MetricX auf Vistra-Bildern Die eigenen Gemma-3-Baselines
Hy-MT2 33 Allgemeine, Business-, Domänen- und Instruktionsfolge-Tests plus eigenes IFMTBench DeepSeek-V4-Pro, Kimi K2.6, Microsoft- und Doubao-APIs
Index-Translate 150 COMET-22 auf FLORES und WMT24++, ein LLM-Richter auf WMT26, eigene instTrans- und MEME-Sets Hy-MT2, TranslateGemma, Qwen3.5, DeepSeek-V4.1-Flash, GPT-5.6-Sol, Gemini 3.5 Flash Lite
PLaMo 3 Translate 53 chrF++ auf FLORES+, COMET-22 auf WMT24++ Englisch–Japanisch, eigene PFTB- und SaaS-Sets TranslateGemma und Hy-MT2

Der Glossareintrag zu Übersetzungsmetriken erklärt MetricX, COMET, chrF++ und MQM. Jede Zeile ist die Arbeit des Entwicklers selbst, und die meisten intern gebauten Sets sind nicht öffentlich.

Ein Benchmark, drei Bedeutungen

WMT24++ ist der einzige Test, der in mehr als einem Bericht auftaucht – und jeder Bericht verwendet ihn anders. Google deckt 55 Sprachen ab und berichtet MetricX, wo niedriger besser ist, und COMET auf einer Skala von 0 bis 100. Bilibili testet Englisch in 20 Sprachen mit COMET-22 auf einer Skala von 0 bis 1. PFN nutzt nur die Strecke Englisch–Japanisch und sagt, der Benchmark habe kurze Sätze und Referenzen, gegen die es Bedenken hatte; daher stützt es sich vor allem auf zwei eigene Sets. PFTB hat Referenzen, die mit mehreren LLMs geschrieben wurden, und das SaaS-Set übersetzt Webseiten mit HTML-Tags. Beide werden über Zeichenüberschneidung mit der Referenz bewertet – was PFN für tauglich hält, wenn die Referenzen gut sind.

Bilibili baute außerdem eigene instTrans- und MEME-Sets und nutzt GPT-5.6-Sol als Richter für mehrere seiner Scores. Der Benchmark-Eintrag erklärt, warum selbstberichtete Entwicklerscores Vorsicht verlangen: Die dahinterstehenden Einstellungen werden oft so gewählt, dass das Modell optimal dasteht.

Wo die Behauptungen sich kreuzen

Zwei Berichte nehmen Rivalen aus dieser Gruppe auf, hier gibt es also etwas zu lesen. In Bilibilis Tabelle liegt das eigene 9B-Modell in acht von neun Spalten vor Hy-MT2-7B und TranslateGemma-12B, mit dem größten Abstand bei der Instruktionsfolge, die TranslateGemmas dokumentierte Vorlage gar nicht anbietet. Beide Rivalen liegen bei einer referenzbasierten IFMTBench-Punktzahl leicht vorn. TranslateGemma-12B hat zudem eine niedrigere Off-Target-Rate im ressourcenarmen FLORES-Test des Berichts: 1,7 % gegen 4,0 % beim 9B-Modell.

IFMTBench verdient eine Anmerkung, weil Tencent es gebaut hat. Es ist der einzige Instruktionsfolge-Test hier, den auch ein Rivale rapportiert, und dort erzielt Index-Translate 9B 0,8760 gegen 0,8741 für Hy-MT2-7B – ein Abstand zu klein, um ihn als Sieg zu lesen. PFNs Diagramme platzieren umgekehrt jede PLaMo-Größe vor TranslateGemma und Hy-MT2 bei den Japanisch–Englisch- und mehrsprachigen Tests, lassen aber Index-Translate weg. Googles Bericht vergleicht TranslateGemma nur mit den eigenen Gemma-3-Baselines, und Tencents Abstract nennt DeepSeek-V4-Pro, Kimi K2.6 und kommerzielle APIs als Gegner. In den beiden Tabellen mit Rivalen aus dieser Gruppe liegen die Rivalen hinter dem Modell des jeweiligen Entwicklers, und keine Tabelle enthält alle vier. Einen unabhängigen Vergleich haben wir nicht gefunden.

Was man mitnehmen sollte

Die Unterschiede, die man ohne Benchmark prüfen kann, zählen mehr:

  • Sprachen: 33 bei Hy-MT2, 53 bei PLaMo 3 Translate, 55 bei TranslateGemma und 150 bei Index-Translate.
  • Lizenzen: Apache 2.0 für Hy-MT2 und Index-Translate, die Gemma Terms of Use mit einer Nutzungsrichtlinie für TranslateGemma und die umsatzbeschränkte PLaMo Community License.
  • Grenzen und Steuerung: TranslateGemma nimmt 2K Tokens Eingabe und eine strenge Sprachcode-Vorlage, PLaMo nimmt 32.768 Tokens für Ein- und Ausgabe zusammen, und Hy-MT2 und Index-Translate akzeptieren Anweisungen für Tags und Glossare, bei Index-Translate zusätzlich mit Tonlage-Steuerung.
  • Kleine Builds: ein 4-Bit-GGUF mit 0,57 GB für PLaMo 0.8B, ein 4-Bit-GGUF mit 1,31 GB für Index-Translate-2B und ein 1,25-Bit-Build von Hy-MT2-1.8B mit 440 MB.

Übersetzen Sie dann 50 bis 100 Sätze Ihres eigenen Texts mit zwei oder drei Kandidaten und lassen Sie sie von jemandem lesen, der die Zielsprache spricht. Unsere Liste der Übersetzungsmodelle und der Leitfaden zur Wahl eines Übersetzungsmodells beschreiben die Schritte, und die Seite Index-Translate vs TranslateGemma vergleicht die beiden Übersetzer, die Bilder akzeptieren.

Quellen

Modelle in diesem Artikel

Modell Erscheinungsdatum Parameter Kontext Lizenz Bedarf der kleinsten Variante
TranslateGemma EN Google DeepMind 4.3B – 27.4B 2K Gemma Terms (Bedingt) 2.97 GB Laptop oder Smartphone
Hy-MT2 EN Tencent 2.04B – 30.1B 3B aktiv 256K Apache 2.0 (Permissiv) 1.41 GB Laptop oder Smartphone
Index-Translate EN Bilibili 2.27B – 36B 3B aktiv 256K Apache 2.0 (Permissiv) 1.44 GB Laptop oder Smartphone
PLaMo 3 Translate EN Preferred Networks 890M – 31.8B 32K PLaMo Community (Bedingt) 0.614 GB Laptop oder Smartphone