Métricas de traducción

Las métricas de traducción son las puntuaciones que las fichas de modelo usan para valorar una traducción. Algunas cuentan el solapamiento con una referencia humana, otras usan un modelo entrenado o revisores humanos, y sus escalas no se pueden comparar.

  • Uso de modelos
  • Actualización

Las métricas antiguas cuentan el solapamiento. BLEU compara secuencias de palabras con una referencia humana y chrF++ compara secuencias de caracteres, así que una traducción correcta pero con otras palabras pierde puntos. Las métricas más nuevas usan un modelo neuronal entrenado con valoraciones humanas. COMET, y su variante XCOMET, puntúa la traducción frente al original y una referencia. El MetricX de Google funciona igual, pero más bajo es mejor. Las versiones de estimación de calidad como MetricX-QE no necesitan referencia, y Google usó MetricX-QE y AutoMQM, que pide a un modelo de lenguaje marcar errores como un revisor humano, como modelos de recompensa al entrenar TranslateGemma. MQM es la versión humana: los revisores marcan errores y sus penalizaciones se suman, así que más bajo es mejor. Algunas fichas también usan un modelo de lenguaje grande como juez, como hace el informe de Index-Translate con GPT-5.6-Sol para su puntuación de juez WMT26 y sus pruebas de seguimiento de instrucciones.

Compara los números con cuidado. La ficha de TranslateGemma da COMET en una escala de 0 a 100, 83.5 para el modelo de 12B en WMT24++ a lo largo de 55 idiomas. El informe de Index-Translate usa una escala de 0 a 1 y prueba del inglés a 20 idiomas para WMT24++, así que su 0.8601 para el modelo de 9B es otra medida. PLaMo 3 Translate informa chrF++ y un conjunto interno japonés-inglés. Las tablas de cada desarrollador también eligen qué modelos rivales y ajustes incluir. Como no encontramos ningún ranking independiente que cubra estos modelos, traduce de 50 a 100 frases de tu propio texto en tus pares de idiomas y pide a un hablante del idioma de destino que las lea.

Términos relacionados

  • Benchmark (prueba de referencia) Un benchmark es una prueba estandarizada para comparar modelos, como un conjunto de preguntas de matemáticas, programación o conocimiento; las puntuaciones son útiles pero fáciles de sobreinterpretar.
  • Traducción automática La traducción automática es software que traduce texto, voz o texto dentro de imágenes de un idioma a otro. Los modelos abiertos de hoy suelen partir de un modelo general y entrenarse después solo para traducir.
  • Tasa de error de palabras (WER) La tasa de error de palabras es la puntuación estándar del reconocimiento de voz: la proporción de palabras de una transcripción que están mal, faltan o sobran frente a una referencia correcta.

Todos los términos