Métricas de tradução

Métricas de tradução são as pontuações que as fichas de modelos usam para avaliar uma tradução. Algumas contam a sobreposição com uma referência humana, outras usam um modelo treinado ou revisores humanos, e suas escalas não podem ser comparadas.

  • Usando modelos
  • Atualizado

Métricas mais antigas contam sobreposição. O BLEU compara sequências de palavras com uma referência humana e o chrF++ compara sequências de caracteres, então uma tradução correta com palavras diferentes perde pontos. Métricas mais recentes usam um modelo neural treinado com avaliações humanas. O COMET, e sua variante XCOMET, pontua a tradução contra a origem e uma referência. O MetricX do Google funciona da mesma forma, mas menor é melhor. Versões de estimativa de qualidade, como o MetricX-QE, não precisam de referência, e o Google usou o MetricX-QE e o AutoMQM, que pede a um modelo de linguagem que marque erros como um revisor humano, como modelos de recompensa ao treinar o TranslateGemma. O MQM é a versão humana: revisores marcam erros e suas penalidades se somam, então menor é melhor. Algumas fichas também usam um grande modelo de linguagem como juiz, como o relatório do Index-Translate faz com o GPT-5.6-Sol para sua pontuação de juiz no WMT26 e seus testes de seguimento de instruções.

Compare os números com cuidado. A ficha do TranslateGemma dá o COMET em uma escala de 0 a 100, 83.5 para o modelo de 12B no WMT24++ em 55 idiomas. O relatório do Index-Translate usa uma escala de 0 a 1 e testa do inglês para 20 idiomas no WMT24++, então o 0.8601 dele para o modelo de 9B é uma medição diferente. O PLaMo 3 Translate informa chrF++ e um conjunto interno japonês-inglês. As tabelas dos próprios desenvolvedores também escolhem quais modelos rivais e configurações incluir. Como não encontramos nenhum ranking independente que cubra esses modelos, traduza de 50 a 100 frases do seu próprio texto nos seus pares de idiomas e peça a um falante do idioma de destino que as leia.

Termos relacionados

  • Benchmark (teste de referência) Um benchmark é um teste padronizado usado para comparar modelos, como um conjunto de questões de matemática, programação ou conhecimento; as pontuações são úteis, mas fáceis de superinterpretar.
  • Tradução automática Tradução automática é software que traduz texto, fala ou texto dentro de imagens de um idioma para outro. Os modelos abertos de hoje costumam partir de um modelo geral e ser treinados depois apenas para traduzir.
  • Taxa de erro de palavras (WER) A taxa de erro de palavras é a pontuação padrão do reconhecimento de fala: a proporção de palavras em uma transcrição que estão erradas, faltando ou sobrando em relação a uma referência correta.

Todos os termos