Cuatro modelos de traducción abiertos, cuatro varas de medir distintas

TranslateGemma, Hy-MT2, Index-Translate y PLaMo 3 Translate reportan calidad en distintos conjuntos de prueba, métricas y rivales, así que sus afirmaciones no se pueden comparar directamente.

  • Análisis
  • 4 min de lectura
  • Publicación

Cuatro familias de modelos de traducción abiertos llegaron en diez meses: TranslateGemma de Google en enero de 2026, Hy-MT2 de Tencent en mayo, Index-Translate de Bilibili en septiembre y PLaMo 3 Translate de Preferred Networks el 5 de noviembre. Cada uno vino con un informe en el que le va bien. Leídos lado a lado, los informes muestran otra cosa: no hay dos que midan la calidad de la misma manera.

Qué mide cada informe

Modelo Idiomas Puntuaciones principales Comparado con
TranslateGemma 55 MetricX y COMET en WMT24++, MQM humano en WMT25, MetricX en imágenes Vistra Sus propias líneas base Gemma 3
Hy-MT2 33 Pruebas generales, de negocio, de dominio y de seguimiento de instrucciones, más su propio IFMTBench DeepSeek-V4-Pro, Kimi K2.6, APIs de Microsoft y Doubao
Index-Translate 150 COMET-22 en FLORES y WMT24++, un juez LLM en WMT26, sus propios conjuntos instTrans y MEME Hy-MT2, TranslateGemma, Qwen3.5, DeepSeek-V4.1-Flash, GPT-5.6-Sol, Gemini 3.5 Flash Lite
PLaMo 3 Translate 53 chrF++ en FLORES+, COMET-22 en WMT24++ inglés a japonés, sus propios conjuntos PFTB y SaaS TranslateGemma y Hy-MT2

La entrada del glosario sobre métricas de traducción explica MetricX, COMET, chrF++ y MQM. Cada fila es trabajo del propio desarrollador, y la mayoría de los conjuntos construidos internamente no son públicos.

Un benchmark, tres significados

WMT24++ es la única prueba que aparece en más de un informe, y cada informe la usa de manera distinta. Google cubre 55 idiomas y reporta MetricX, donde menor es mejor, y COMET en escala de 0 a 100. Bilibili prueba del inglés a 20 idiomas con COMET-22 en escala de 0 a 1. PFN usa solo la pista de inglés a japonés, y dice que el benchmark tiene frases cortas y referencias que le generaban dudas, así que se apoyó principalmente en dos conjuntos propios. PFTB tiene referencias escritas con varios LLM, y el conjunto SaaS traduce páginas web que llevan etiquetas HTML. Ambos se puntúan por superposición de caracteres con la referencia, lo que PFN sostiene que funciona cuando las referencias son buenas.

Bilibili también creó sus propios conjuntos instTrans y MEME, y usa GPT-5.6-Sol como juez para varias de sus puntuaciones. La entrada de benchmark explica por qué las puntuaciones que los desarrolladores reportan a sí mismos requieren cautela, porque los ajustes detrás de ellas suelen elegirse para mostrar el modelo en su mejor momento.

Donde las afirmaciones se cruzan

Dos informes incluyen rivales de este grupo, así que hay algo que leer. La tabla de Bilibili pone a su modelo de 9B por delante de Hy-MT2-7B y TranslateGemma-12B en ocho de nueve columnas, con el mayor margen en seguimiento de instrucciones, que la plantilla documentada de TranslateGemma no ofrece. Ambos rivales van ligeramente por delante en una puntuación de referencia de IFMTBench. TranslateGemma-12B también tiene una tasa de fuera-de-objetivo más baja en la prueba FLORES de bajos recursos del informe: 1,7 % frente al 4,0 % del modelo de 9B.

IFMTBench merece una nota porque lo construyó Tencent. Es la única prueba de seguimiento de instrucciones aquí que un rival también reporta, y en ella el Index-Translate de 9B puntúa 0,8760 frente a 0,8741 de Hy-MT2-7B, una diferencia demasiado pequeña para leerla como victoria. Los gráficos de PFN, por su parte, colocan cada tamaño de PLaMo por delante de TranslateGemma y Hy-MT2 en las pruebas japonés-inglés y multilingües, pero omiten Index-Translate. El informe de Google compara a TranslateGemma solo con sus líneas base Gemma 3, y el resumen de Tencent nombra como rivales a DeepSeek-V4-Pro, Kimi K2.6 y APIs comerciales. En las dos tablas que incluyen rivales de este grupo, los rivales quedan detrás del modelo del propio desarrollador, y ninguna tabla incluye a los cuatro. No encontramos ninguna comparación independiente.

Qué llevarse

Las diferencias que puedes comprobar sin un benchmark importan más:

  • Idiomas: 33 para Hy-MT2, 53 para PLaMo 3 Translate, 55 para TranslateGemma y 150 para Index-Translate.
  • Licencias: Apache 2.0 para Hy-MT2 e Index-Translate, los Gemma Terms of Use con una política de uso para TranslateGemma, y la PLaMo Community License con límite de ingresos.
  • Límites y controles: TranslateGemma acepta 2K tokens de entrada y una plantilla estricta de códigos de idioma, PLaMo acepta 32.768 tokens entre entrada y salida, y Hy-MT2 e Index-Translate aceptan instrucciones para etiquetas y glosarios, con control de tono en el caso de Index-Translate.
  • Versiones pequeñas: un GGUF de 4 bits de 0,57 GB para PLaMo 0.8B, un GGUF de 4 bits de 1,31 GB para Index-Translate-2B y una versión de 1,25 bits de 440 MB de Hy-MT2-1.8B.

Luego traduce de 50 a 100 frases de tu propio texto con dos o tres candidatos y haz que una persona que hable el idioma destino las lea. Nuestra lista de modelos de traducción y la guía para elegir un modelo de traducción detallan los pasos, y la página Index-Translate vs TranslateGemma compara los dos traductores que aceptan imágenes.

Fuentes

Modelos en esta noticia

Modelo Lanzamiento Parámetros Contexto Licencia Necesario para la variante más pequeña
TranslateGemma EN Google DeepMind 4.3B – 27.4B 2K Gemma Terms (Condicional) 2.97 GB Portátil o móvil
Hy-MT2 EN Tencent 2.04B – 30.1B 3B activos 256K Apache 2.0 (Permisiva) 1.41 GB Portátil o móvil
Index-Translate EN Bilibili 2.27B – 36B 3B activos 256K Apache 2.0 (Permisiva) 1.44 GB Portátil o móvil
PLaMo 3 Translate EN Preferred Networks 890M – 31.8B 32K PLaMo Community (Condicional) 0.614 GB Portátil o móvil