Метрики перевода
Метрики перевода — это оценки, которыми карточки моделей измеряют качество перевода. Одни считают совпадение с человеческой ссылкой, другие используют обученную модель или людей-рецензентов, и их шкалы нельзя сравнивать.
Старые метрики считают совпадение. BLEU сравнивает последовательности слов с человеческой ссылкой, chrF++ сравнивает последовательности символов, поэтому правильный перевод в другой формулировке теряет баллы. Новые метрики используют нейросетевую модель, обученную на человеческих оценках. COMET и его вариант XCOMET оценивают перевод против исходного текста и ссылки. MetricX от Google работает так же, но ниже — лучше. Версии оценки качества вроде MetricX-QE не требуют ссылки, а Google при обучении TranslateGemma использовал MetricX-QE и AutoMQM — тот просит языковую модель размечать ошибки, как человек-рецензент, — в качестве reward-моделей. MQM — человеческая версия: рецензенты размечают ошибки, их штрафы складываются, так что ниже — лучше. Некоторые карточки используют большую языковую модель как судью, как делает отчёт Index-Translate с GPT-5.6-Sol для своего судейского балла WMT26 и тестов на следование инструкциям.
Сравнивайте числа осторожно. Карточка TranslateGemma даёт COMET по шкале от 0 до 100 — 83,5 для модели 12B на WMT24++ по 55 языкам. Отчёт Index-Translate использует шкалу от 0 до 1 и проверяет английский на 20 языков для WMT24++, так что его 0,8601 для модели 9B — другое измерение. PLaMo 3 Translate сообщает chrF++ и внутренний японско-английский набор. Таблицы разработчика также сами выбирают, какие модели-соперники и настройки включить. Поскольку мы не нашли независимого лидерборда, охватывающего эти модели, переведите 50–100 предложений собственного текста на своих языковых парах и попросите носителя целевого языка их прочесть.
Связанные термины
- Бенчмарк (Benchmark) Бенчмарк — это стандартизированный тест для сравнения моделей, например набор задач по математике, программированию или знаниям; оценки полезны, но им легко придать слишком большое значение.
- Машинный перевод Машинный перевод — это ПО, переводящее текст, речь или текст на изображениях с одного языка на другой. Открытые модели сегодня обычно стартуют с универсальной модели и дообучаются только на перевод.
- Частота ошибок в словах (WER) Частота ошибок в словах — стандартная оценка для распознавания речи: доля слов в транскрипте, которые ошибочны, пропущены или лишние по сравнению с правильной ссылкой.