Четыре открытых модели перевода — четыре разных мерила
TranslateGemma, Hy-MT2, Index-Translate и PLaMo 3 Translate сообщают качество на разных тестовых наборах, метриках и соперниках, поэтому их заявления нельзя сравнивать напрямую.
За десять месяцев вышли четыре семейства открытых моделей перевода: TranslateGemma от Google в январе 2026 года, Hy-MT2 от Tencent в мае, Index-Translate от Bilibili в сентябре и PLaMo 3 Translate от Preferred Networks 5 ноября. Каждое прибыло с отчётом, где оно выглядит хорошо. Если читать отчёты рядом, видно иное: никакие два не измеряют качество одинаково.
Что измеряет каждый отчёт
| Модель | Языки | Основные метрики | Сравнение с |
|---|---|---|---|
| TranslateGemma | 55 | MetricX и COMET на WMT24++, человеческий MQM на WMT25, MetricX на изображениях Vistra | Собственные базовые линии Gemma 3 |
| Hy-MT2 | 33 | Общие, бизнес-, доменные тесты и следование инструкциям, плюс собственный IFMTBench | DeepSeek-V4-Pro, Kimi K2.6, API Microsoft и Doubao |
| Index-Translate | 150 | COMET-22 на FLORES и WMT24++, LLM-судья на WMT26, собственные наборы instTrans и MEME | Hy-MT2, TranslateGemma, Qwen3.5, DeepSeek-V4.1-Flash, GPT-5.6-Sol, Gemini 3.5 Flash Lite |
| PLaMo 3 Translate | 53 | chrF++ на FLORES+, COMET-22 на WMT24++ англо-японском, собственные наборы PFTB и SaaS | TranslateGemma и Hy-MT2 |
В статье глоссария о метриках перевода объясняются MetricX, COMET, chrF++ и MQM. Каждая строка — работа самого разработчика, и большинство созданных внутри наборов не опубликованы.
Один бенчмарк — три смысла
WMT24++ — единственный тест, который встречается более чем в одном отчёте, и каждый использует его по-своему. Google покрывает 55 языков и сообщает MetricX, где меньше — лучше, и COMET по шкале 0–100. Bilibili тестирует перевод с английского на 20 языков с COMET-22 по шкале 0–1. PFN использует только англо-японскую дорожку и говорит, что в бенчмарке короткие фразы и референсы, вызывавшие у неё сомнения, поэтому она опиралась в основном на два собственных набора. У PFTB референсы написаны несколькими LLM, а набор SaaS переводит веб-страницы с HTML-тегами. Оба оцениваются по совпадению символов с референсом — PFN утверждает, что это работает при хороших референсах.
Bilibili также построила собственные наборы instTrans и MEME и использует GPT-5.6-Sol судьёй для нескольких своих оценок. Статья о бенчмарках объясняет, почему цифрам, которые разработчики сообщают о себе, нужна осторожность: настройки за ними часто подбирают так, чтобы показать модель в лучшем виде.
Где заявления пересекаются
Два отчёта включают соперников из этой группы — есть что почитать. В таблице Bilibili её модель 9B опережает Hy-MT2-7B и TranslateGemma-12B в восьми из девяти колонок, с наибольшим отрывом в следовании инструкциям, которое задокументированный шаблон TranslateGemma вообще не предоставляет. Оба соперника чуть впереди по одной референсной оценке IFMTBench. TranslateGemma-12B также имеет меньшую долю off-target в низкоресурсном тесте FLORES из отчёта: 1,7 % против 4,0 % у модели 9B.
IFMTBench заслуживает примечания: его построила Tencent. Это единственный здесь тест на следование инструкциям, который отчётит и соперник, и на нём Index-Translate 9B набирает 0,8760 против 0,8741 у Hy-MT2-7B — разница слишком мала, чтобы считать её победой. Графики PFN, в свою очередь, ставят каждый размер PLaMo впереди TranslateGemma и Hy-MT2 в японско-английских и многоязычных тестах, но пропускают Index-Translate. Отчёт Google сравнивает TranslateGemma только с собственными базовыми линиями Gemma 3, а в аннотации Tencent соперниками названы DeepSeek-V4-Pro, Kimi K2.6 и коммерческие API. В обеих таблицах, включающих соперников из группы, соперники ранжируются позади модели самого разработчика, и ни одна таблица не включает все четыре. Независимого сравнения мы не нашли.
Что из этого взять
Различия, которые можно проверить без бенчмарка, важнее:
- Языки: 33 у Hy-MT2, 53 у PLaMo 3 Translate, 55 у TranslateGemma и 150 у Index-Translate.
- Лицензии: Apache 2.0 у Hy-MT2 и Index-Translate, Gemma Terms of Use с политикой использования у TranslateGemma и ограниченная по выручке PLaMo Community License.
- Ограничения и управление: TranslateGemma принимает 2K токенов ввода и строгий шаблон кодов языков, PLaMo — 32 768 токенов на ввод и вывод суммарно, а Hy-MT2 и Index-Translate принимают инструкции для тегов и глоссариев, у Index-Translate ещё и управление тональностью.
- Малые сборки: 4-битный GGUF на 0,57 ГБ для PLaMo 0.8B, 4-битный GGUF на 1,31 ГБ для Index-Translate-2B и сборка 1,25 бита на 440 МБ для Hy-MT2-1.8B.
Затем переведите 50–100 предложений собственного текста двумя-тремя кандидатами и дайте прочитать носителю целевого языка. Наш список моделей перевода и руководство по выбору модели перевода описывают шаги, а страница Index-Translate vs TranslateGemma сравнивает двух переводчиков, принимающих изображения.
Источники
- TranslateGemma Technical Report (arXiv 2601.09012) arxiv.org
- Hy-MT2: A Family of Fast, Efficient and Powerful Multilingual Translation Models in the Wild (arXiv 2605.22064) arxiv.org
- Index-Translate-9B model card (Hugging Face) huggingface.co
- Index-Translate: A Multilingual Translation Model Family (arXiv 2609.40181) arxiv.org
- PLaMo 3 Translate: World-Class Translation with Open Weights (PFN blog, 5 November 2026) preferred.jp
Модели в этом материале
| Модель | Дата выпуска | Параметры | Контекст | Лицензия | Память минимального варианта |
|---|---|---|---|---|---|
| TranslateGemma EN Google DeepMind | 4.3B – 27.4B | 2K | Gemma Terms (С условиями) | 2.97 GB Ноутбук или телефон | |
| Hy-MT2 EN Tencent | 2.04B – 30.1B 3B активных | 256K | Apache 2.0 (Пермиссивная) | 1.41 GB Ноутбук или телефон | |
| Index-Translate EN Bilibili | 2.27B – 36B 3B активных | 256K | Apache 2.0 (Пермиссивная) | 1.44 GB Ноутбук или телефон | |
| PLaMo 3 Translate EN Preferred Networks | 890M – 31.8B | 32K | PLaMo Community (С условиями) | 0.614 GB Ноутбук или телефон |