Métriques de traduction

Les métriques de traduction sont les scores que les fiches de modèles utilisent pour noter une traduction. Les unes comptent le chevauchement avec une référence humaine, les autres utilisent un modèle entraîné ou des relecteurs humains, et leurs échelles ne sont pas comparables.

  • Utiliser les modèles
  • Mis à jour le

Les métriques anciennes comptent le chevauchement. BLEU compare des séquences de mots à une référence humaine et chrF++ compare des séquences de caractères ; une traduction correcte mais formulée autrement perd donc des points. Les métriques plus récentes utilisent un modèle neuronal entraîné sur des notes humaines. COMET, et sa variante XCOMET, note la traduction par rapport à la source et à une référence. MetricX de Google fonctionne pareil, mais plus bas est meilleur. Les versions d'estimation de qualité comme MetricX-QE n'ont pas besoin de référence, et Google a utilisé MetricX-QE et AutoMQM, qui demande à un modèle de langage de marquer les erreurs comme un relecteur humain, comme modèles de récompense lors de l'entraînement de TranslateGemma. MQM est la version humaine : les relecteurs marquent les erreurs et leurs pénalités s'additionnent, donc plus bas est meilleur. Certaines fiches utilisent aussi un grand modèle de langage comme juge, comme le rapport d'Index-Translate le fait avec GPT-5.6-Sol pour son score de juge WMT26 et ses tests de suivi des consignes.

Comparez les chiffres avec prudence. La fiche de TranslateGemma donne COMET sur une échelle de 0 à 100, soit 83,5 pour le modèle 12B sur WMT24++ en 55 langues. Le rapport d'Index-Translate utilise une échelle de 0 à 1 et teste l'anglais vers 20 langues pour WMT24++ ; son 0,8601 pour le modèle 9B est donc une autre mesure. PLaMo 3 Translate rapporte chrF++ et un jeu interne japonais-anglais. Les tableaux d'un développeur choisissent aussi quels modèles rivaux et quels réglages inclure. Comme nous n'avons trouvé aucun classement indépendant couvrant ces modèles, traduisez 50 à 100 phrases de votre propre texte dans vos paires de langues et faites-les lire par un locuteur de la langue cible.

Termes associés

  • Benchmark (test de référence) Un benchmark est un test standardisé servant à comparer des modèles, comme une série de questions de mathématiques, de code ou de connaissances ; les scores sont utiles mais faciles à surestimer.
  • Traduction automatique La traduction automatique est un logiciel qui traduit du texte, de la parole ou du texte présent dans des images d'une langue vers une autre. Les modèles ouverts d'aujourd'hui partent généralement d'un modèle général, ensuite entraîné uniquement à traduire.
  • Taux d'erreur par mot (WER) Le taux d'erreur par mot est le score standard de la reconnaissance vocale : la part des mots d'une transcription qui sont faux, manquants ou superflus par rapport à une référence correcte.

Tous les termes