Cuatro modelos de traducción abiertos, cuatro varas de medir distintas
TranslateGemma, Hy-MT2, Index-Translate y PLaMo 3 Translate reportan calidad en distintos conjuntos de prueba, métricas y rivales, así que sus afirmaciones no se pueden comparar directamente.
Cuatro familias de modelos de traducción abiertos llegaron en diez meses: TranslateGemma de Google en enero de 2026, Hy-MT2 de Tencent en mayo, Index-Translate de Bilibili en septiembre y PLaMo 3 Translate de Preferred Networks el 5 de noviembre. Cada uno vino con un informe en el que le va bien. Leídos lado a lado, los informes muestran otra cosa: no hay dos que midan la calidad de la misma manera.
Qué mide cada informe
| Modelo | Idiomas | Puntuaciones principales | Comparado con |
|---|---|---|---|
| TranslateGemma | 55 | MetricX y COMET en WMT24++, MQM humano en WMT25, MetricX en imágenes Vistra | Sus propias líneas base Gemma 3 |
| Hy-MT2 | 33 | Pruebas generales, de negocio, de dominio y de seguimiento de instrucciones, más su propio IFMTBench | DeepSeek-V4-Pro, Kimi K2.6, APIs de Microsoft y Doubao |
| Index-Translate | 150 | COMET-22 en FLORES y WMT24++, un juez LLM en WMT26, sus propios conjuntos instTrans y MEME | Hy-MT2, TranslateGemma, Qwen3.5, DeepSeek-V4.1-Flash, GPT-5.6-Sol, Gemini 3.5 Flash Lite |
| PLaMo 3 Translate | 53 | chrF++ en FLORES+, COMET-22 en WMT24++ inglés a japonés, sus propios conjuntos PFTB y SaaS | TranslateGemma y Hy-MT2 |
La entrada del glosario sobre métricas de traducción explica MetricX, COMET, chrF++ y MQM. Cada fila es trabajo del propio desarrollador, y la mayoría de los conjuntos construidos internamente no son públicos.
Un benchmark, tres significados
WMT24++ es la única prueba que aparece en más de un informe, y cada informe la usa de manera distinta. Google cubre 55 idiomas y reporta MetricX, donde menor es mejor, y COMET en escala de 0 a 100. Bilibili prueba del inglés a 20 idiomas con COMET-22 en escala de 0 a 1. PFN usa solo la pista de inglés a japonés, y dice que el benchmark tiene frases cortas y referencias que le generaban dudas, así que se apoyó principalmente en dos conjuntos propios. PFTB tiene referencias escritas con varios LLM, y el conjunto SaaS traduce páginas web que llevan etiquetas HTML. Ambos se puntúan por superposición de caracteres con la referencia, lo que PFN sostiene que funciona cuando las referencias son buenas.
Bilibili también creó sus propios conjuntos instTrans y MEME, y usa GPT-5.6-Sol como juez para varias de sus puntuaciones. La entrada de benchmark explica por qué las puntuaciones que los desarrolladores reportan a sí mismos requieren cautela, porque los ajustes detrás de ellas suelen elegirse para mostrar el modelo en su mejor momento.
Donde las afirmaciones se cruzan
Dos informes incluyen rivales de este grupo, así que hay algo que leer. La tabla de Bilibili pone a su modelo de 9B por delante de Hy-MT2-7B y TranslateGemma-12B en ocho de nueve columnas, con el mayor margen en seguimiento de instrucciones, que la plantilla documentada de TranslateGemma no ofrece. Ambos rivales van ligeramente por delante en una puntuación de referencia de IFMTBench. TranslateGemma-12B también tiene una tasa de fuera-de-objetivo más baja en la prueba FLORES de bajos recursos del informe: 1,7 % frente al 4,0 % del modelo de 9B.
IFMTBench merece una nota porque lo construyó Tencent. Es la única prueba de seguimiento de instrucciones aquí que un rival también reporta, y en ella el Index-Translate de 9B puntúa 0,8760 frente a 0,8741 de Hy-MT2-7B, una diferencia demasiado pequeña para leerla como victoria. Los gráficos de PFN, por su parte, colocan cada tamaño de PLaMo por delante de TranslateGemma y Hy-MT2 en las pruebas japonés-inglés y multilingües, pero omiten Index-Translate. El informe de Google compara a TranslateGemma solo con sus líneas base Gemma 3, y el resumen de Tencent nombra como rivales a DeepSeek-V4-Pro, Kimi K2.6 y APIs comerciales. En las dos tablas que incluyen rivales de este grupo, los rivales quedan detrás del modelo del propio desarrollador, y ninguna tabla incluye a los cuatro. No encontramos ninguna comparación independiente.
Qué llevarse
Las diferencias que puedes comprobar sin un benchmark importan más:
- Idiomas: 33 para Hy-MT2, 53 para PLaMo 3 Translate, 55 para TranslateGemma y 150 para Index-Translate.
- Licencias: Apache 2.0 para Hy-MT2 e Index-Translate, los Gemma Terms of Use con una política de uso para TranslateGemma, y la PLaMo Community License con límite de ingresos.
- Límites y controles: TranslateGemma acepta 2K tokens de entrada y una plantilla estricta de códigos de idioma, PLaMo acepta 32.768 tokens entre entrada y salida, y Hy-MT2 e Index-Translate aceptan instrucciones para etiquetas y glosarios, con control de tono en el caso de Index-Translate.
- Versiones pequeñas: un GGUF de 4 bits de 0,57 GB para PLaMo 0.8B, un GGUF de 4 bits de 1,31 GB para Index-Translate-2B y una versión de 1,25 bits de 440 MB de Hy-MT2-1.8B.
Luego traduce de 50 a 100 frases de tu propio texto con dos o tres candidatos y haz que una persona que hable el idioma destino las lea. Nuestra lista de modelos de traducción y la guía para elegir un modelo de traducción detallan los pasos, y la página Index-Translate vs TranslateGemma compara los dos traductores que aceptan imágenes.
Fuentes
- TranslateGemma Technical Report (arXiv 2601.09012) arxiv.org
- Hy-MT2: A Family of Fast, Efficient and Powerful Multilingual Translation Models in the Wild (arXiv 2605.22064) arxiv.org
- Index-Translate-9B model card (Hugging Face) huggingface.co
- Index-Translate: A Multilingual Translation Model Family (arXiv 2609.40181) arxiv.org
- PLaMo 3 Translate: World-Class Translation with Open Weights (PFN blog, 5 November 2026) preferred.jp
Modelos en esta noticia
| Modelo | Lanzamiento | Parámetros | Contexto | Licencia | Necesario para la variante más pequeña |
|---|---|---|---|---|---|
| TranslateGemma EN Google DeepMind | 4.3B – 27.4B | 2K | Gemma Terms (Condicional) | 2.97 GB Portátil o móvil | |
| Hy-MT2 EN Tencent | 2.04B – 30.1B 3B activos | 256K | Apache 2.0 (Permisiva) | 1.41 GB Portátil o móvil | |
| Index-Translate EN Bilibili | 2.27B – 36B 3B activos | 256K | Apache 2.0 (Permisiva) | 1.44 GB Portátil o móvil | |
| PLaMo 3 Translate EN Preferred Networks | 890M – 31.8B | 32K | PLaMo Community (Condicional) | 0.614 GB Portátil o móvil |