Четыре открытых модели перевода — четыре разных мерила

TranslateGemma, Hy-MT2, Index-Translate и PLaMo 3 Translate сообщают качество на разных тестовых наборах, метриках и соперниках, поэтому их заявления нельзя сравнивать напрямую.

  • Аналитика
  • 3 мин чтения
  • Опубликовано

За десять месяцев вышли четыре семейства открытых моделей перевода: TranslateGemma от Google в январе 2026 года, Hy-MT2 от Tencent в мае, Index-Translate от Bilibili в сентябре и PLaMo 3 Translate от Preferred Networks 5 ноября. Каждое прибыло с отчётом, где оно выглядит хорошо. Если читать отчёты рядом, видно иное: никакие два не измеряют качество одинаково.

Что измеряет каждый отчёт

Модель Языки Основные метрики Сравнение с
TranslateGemma 55 MetricX и COMET на WMT24++, человеческий MQM на WMT25, MetricX на изображениях Vistra Собственные базовые линии Gemma 3
Hy-MT2 33 Общие, бизнес-, доменные тесты и следование инструкциям, плюс собственный IFMTBench DeepSeek-V4-Pro, Kimi K2.6, API Microsoft и Doubao
Index-Translate 150 COMET-22 на FLORES и WMT24++, LLM-судья на WMT26, собственные наборы instTrans и MEME Hy-MT2, TranslateGemma, Qwen3.5, DeepSeek-V4.1-Flash, GPT-5.6-Sol, Gemini 3.5 Flash Lite
PLaMo 3 Translate 53 chrF++ на FLORES+, COMET-22 на WMT24++ англо-японском, собственные наборы PFTB и SaaS TranslateGemma и Hy-MT2

В статье глоссария о метриках перевода объясняются MetricX, COMET, chrF++ и MQM. Каждая строка — работа самого разработчика, и большинство созданных внутри наборов не опубликованы.

Один бенчмарк — три смысла

WMT24++ — единственный тест, который встречается более чем в одном отчёте, и каждый использует его по-своему. Google покрывает 55 языков и сообщает MetricX, где меньше — лучше, и COMET по шкале 0–100. Bilibili тестирует перевод с английского на 20 языков с COMET-22 по шкале 0–1. PFN использует только англо-японскую дорожку и говорит, что в бенчмарке короткие фразы и референсы, вызывавшие у неё сомнения, поэтому она опиралась в основном на два собственных набора. У PFTB референсы написаны несколькими LLM, а набор SaaS переводит веб-страницы с HTML-тегами. Оба оцениваются по совпадению символов с референсом — PFN утверждает, что это работает при хороших референсах.

Bilibili также построила собственные наборы instTrans и MEME и использует GPT-5.6-Sol судьёй для нескольких своих оценок. Статья о бенчмарках объясняет, почему цифрам, которые разработчики сообщают о себе, нужна осторожность: настройки за ними часто подбирают так, чтобы показать модель в лучшем виде.

Где заявления пересекаются

Два отчёта включают соперников из этой группы — есть что почитать. В таблице Bilibili её модель 9B опережает Hy-MT2-7B и TranslateGemma-12B в восьми из девяти колонок, с наибольшим отрывом в следовании инструкциям, которое задокументированный шаблон TranslateGemma вообще не предоставляет. Оба соперника чуть впереди по одной референсной оценке IFMTBench. TranslateGemma-12B также имеет меньшую долю off-target в низкоресурсном тесте FLORES из отчёта: 1,7 % против 4,0 % у модели 9B.

IFMTBench заслуживает примечания: его построила Tencent. Это единственный здесь тест на следование инструкциям, который отчётит и соперник, и на нём Index-Translate 9B набирает 0,8760 против 0,8741 у Hy-MT2-7B — разница слишком мала, чтобы считать её победой. Графики PFN, в свою очередь, ставят каждый размер PLaMo впереди TranslateGemma и Hy-MT2 в японско-английских и многоязычных тестах, но пропускают Index-Translate. Отчёт Google сравнивает TranslateGemma только с собственными базовыми линиями Gemma 3, а в аннотации Tencent соперниками названы DeepSeek-V4-Pro, Kimi K2.6 и коммерческие API. В обеих таблицах, включающих соперников из группы, соперники ранжируются позади модели самого разработчика, и ни одна таблица не включает все четыре. Независимого сравнения мы не нашли.

Что из этого взять

Различия, которые можно проверить без бенчмарка, важнее:

  • Языки: 33 у Hy-MT2, 53 у PLaMo 3 Translate, 55 у TranslateGemma и 150 у Index-Translate.
  • Лицензии: Apache 2.0 у Hy-MT2 и Index-Translate, Gemma Terms of Use с политикой использования у TranslateGemma и ограниченная по выручке PLaMo Community License.
  • Ограничения и управление: TranslateGemma принимает 2K токенов ввода и строгий шаблон кодов языков, PLaMo — 32 768 токенов на ввод и вывод суммарно, а Hy-MT2 и Index-Translate принимают инструкции для тегов и глоссариев, у Index-Translate ещё и управление тональностью.
  • Малые сборки: 4-битный GGUF на 0,57 ГБ для PLaMo 0.8B, 4-битный GGUF на 1,31 ГБ для Index-Translate-2B и сборка 1,25 бита на 440 МБ для Hy-MT2-1.8B.

Затем переведите 50–100 предложений собственного текста двумя-тремя кандидатами и дайте прочитать носителю целевого языка. Наш список моделей перевода и руководство по выбору модели перевода описывают шаги, а страница Index-Translate vs TranslateGemma сравнивает двух переводчиков, принимающих изображения.

Источники

Модели в этом материале

Модель Дата выпуска Параметры Контекст Лицензия Память минимального варианта
TranslateGemma EN Google DeepMind 4.3B – 27.4B 2K Gemma Terms (С условиями) 2.97 GB Ноутбук или телефон
Hy-MT2 EN Tencent 2.04B – 30.1B 3B активных 256K Apache 2.0 (Пермиссивная) 1.41 GB Ноутбук или телефон
Index-Translate EN Bilibili 2.27B – 36B 3B активных 256K Apache 2.0 (Пермиссивная) 1.44 GB Ноутбук или телефон
PLaMo 3 Translate EN Preferred Networks 890M – 31.8B 32K PLaMo Community (С условиями) 0.614 GB Ноутбук или телефон