Übersetzungsmetriken

Übersetzungsmetriken sind die Scores, mit denen Modellkarten eine Übersetzung bewerten. Manche zählen die Übereinstimmung mit einer menschlichen Referenz, andere nutzen ein trainiertes Modell oder menschliche Prüfer, und ihre Skalen sind nicht vergleichbar.

  • Modelle verwenden
  • Aktualisiert

Ältere Metriken zählen Übereinstimmung. BLEU vergleicht Wortfolgen mit einer menschlichen Referenz, chrF++ vergleicht Zeichenfolgen, daher verliert eine korrekte Übersetzung mit anderer Formulierung Punkte. Neuere Metriken nutzen ein neuronales Modell, das auf menschlichen Bewertungen trainiert wurde. COMET und seine Variante XCOMET bewerten die Übersetzung gegen die Quelle und eine Referenz. Googles MetricX funktioniert genauso, nur dass niedriger besser ist. Qualitätsschätz-Versionen wie MetricX-QE brauchen keine Referenz, und Google nutzte MetricX-QE und AutoMQM – das einen Sprachmodell auffordert, Fehler wie ein menschlicher Prüfer zu markieren – als Belohnungsmodelle beim Training von TranslateGemma. MQM ist die menschliche Version: Prüfer markieren Fehler, ihre Abzüge werden addiert, also ist niedriger besser. Manche Karten setzen auch ein großes Sprachmodell als Richter ein, so wie der Index-Translate-Bericht mit GPT-5.6-Sol für seinen WMT26-Richter-Score und seine Tests zum Befolgen von Anweisungen.

Vergleichen Sie Zahlen mit Vorsicht. Die TranslateGemma-Karte gibt COMET auf einer Skala von 0 bis 100 an, 83,5 für das 12B-Modell auf WMT24++ über 55 Sprachen. Der Index-Translate-Bericht nutzt eine Skala von 0 bis 1 und testet Englisch in 20 Sprachen für WMT24++; seine 0,8601 für das 9B-Modell sind also eine andere Messung. PLaMo 3 Translate berichtet chrF++ und einen internen Japanisch-Englisch-Satz. Die eigenen Tabellen eines Entwicklers wählen ebenfalls, welche Konkurrenzmodelle und Einstellungen einbezogen werden. Da wir keine unabhängige Rangliste fanden, die diese Modelle abdeckt, übersetzen Sie 50 bis 100 Sätze Ihres eigenen Texts in Ihren eigenen Sprachpaaren und lassen Sie sie von einem Sprecher der Zielsprache lesen.

Verwandte Begriffe

  • Benchmark Ein Benchmark ist ein standardisierter Test zum Vergleich von Modellen, etwa ein Satz Mathe-, Coding- oder Wissensfragen; die Scores sind nützlich, aber leicht überzuinterpretieren.
  • Maschinelle Übersetzung Maschinelle Übersetzung ist Software, die Text, Sprache oder Text in Bildern aus einer Sprache in eine andere übersetzt. Die heutigen offenen Modelle gehen meist von einem allgemeinen Modell aus und werden dann nur noch zum Übersetzen trainiert.
  • Wortfehlerrate (WER) Die Wortfehlerrate ist die Standardbewertung für Spracherkennung: der Anteil der Wörter in einem Transkript, die gegenüber einer korrekten Referenz falsch, fehlend oder überzählig sind.

Alle Begriffe