Quatro modelos de tradução abertos, quatro réguas diferentes

TranslateGemma, Hy-MT2, Index-Translate e PLaMo 3 Translate reportam qualidade em conjuntos de teste, métricas e rivais diferentes, então suas afirmações não podem ser comparadas diretamente.

  • Análise
  • 4 min de leitura
  • Publicado

Quatro famílias de modelos de tradução abertos chegaram em dez meses: TranslateGemma da Google em janeiro de 2026, Hy-MT2 da Tencent em maio, Index-Translate da Bilibili em setembro e PLaMo 3 Translate da Preferred Networks em 5 de novembro. Cada um veio com um relatório em que se sai bem. Lidos lado a lado, os relatórios mostram outra coisa: não há dois que meçam qualidade da mesma maneira.

O que cada relatório mede

Modelo Idiomas Pontuações principais Comparado com
TranslateGemma 55 MetricX e COMET no WMT24++, MQM humano no WMT25, MetricX em imagens Vistra Suas próprias baselines Gemma 3
Hy-MT2 33 Testes gerais, de negócios, de domínio e de seguimento de instruções, além do próprio IFMTBench DeepSeek-V4-Pro, Kimi K2.6, APIs da Microsoft e Doubao
Index-Translate 150 COMET-22 no FLORES e WMT24++, um juiz LLM no WMT26, seus próprios conjuntos instTrans e MEME Hy-MT2, TranslateGemma, Qwen3.5, DeepSeek-V4.1-Flash, GPT-5.6-Sol, Gemini 3.5 Flash Lite
PLaMo 3 Translate 53 chrF++ no FLORES+, COMET-22 no WMT24++ inglês para japonês, seus próprios conjuntos PFTB e SaaS TranslateGemma e Hy-MT2

A entrada do glossário sobre métricas de tradução explica MetricX, COMET, chrF++ e MQM. Cada linha é trabalho do próprio desenvolvedor, e a maioria dos conjuntos feitos internamente não é pública.

Um benchmark, três significados

O WMT24++ é o único teste que aparece em mais de um relatório, e cada relatório o usa de forma diferente. A Google cobre 55 idiomas e reporta MetricX, onde menor é melhor, e COMET numa escala de 0 a 100. A Bilibili testa do inglês para 20 idiomas com COMET-22 numa escala de 0 a 1. A PFN usa apenas a pista de inglês para japonês, e diz que o benchmark tem frases curtas e referências sobre as quais tinha preocupações, então se apoiou principalmente em dois conjuntos próprios. O PFTB tem referências escritas com vários LLMs, e o conjunto SaaS traduz páginas web que carregam tags HTML. Ambos são pontuados por sobreposição de caracteres com a referência, o que a PFN argumenta funcionar quando as referências são boas.

A Bilibili também construiu seus próprios conjuntos instTrans e MEME, e usa GPT-5.6-Sol como juiz para várias de suas pontuações. A entrada de benchmark explica por que pontuações que os desenvolvedores relatam sobre si mesmos exigem cuidado, já que as configurações por trás delas costumam ser escolhidas para mostrar o modelo na melhor forma.

Onde as afirmações se cruzam

Dois relatórios incluem rivais deste grupo, então há algo para ler. A tabela da Bilibili coloca seu modelo de 9B à frente de Hy-MT2-7B e TranslateGemma-12B em oito de nove colunas, com a maior margem no seguimento de instruções, que o template documentado do TranslateGemma não oferece. Ambos os rivais ficam ligeiramente à frente em uma pontuação de referência do IFMTBench. O TranslateGemma-12B também tem uma taxa de fora-de-alvo menor no teste FLORES de baixos recursos do relatório: 1,7% contra 4,0% do modelo de 9B.

O IFMTBench merece uma nota porque a Tencent o construiu. É o único teste de seguimento de instruções aqui que um rival também reporta, e nele o Index-Translate de 9B pontua 0,8760 contra 0,8741 do Hy-MT2-7B, uma diferença pequena demais para ler como vitória. Os gráficos da PFN, por sua vez, colocam cada tamanho do PLaMo à frente de TranslateGemma e Hy-MT2 nos testes japonês-inglês e multilíngues, mas deixam o Index-Translate de fora. O relatório da Google compara o TranslateGemma apenas com suas baselines Gemma 3, e o resumo da Tencent cita DeepSeek-V4-Pro, Kimi K2.6 e APIs comerciais como rivais. Nas duas tabelas que incluem rivais deste grupo, os rivais ficam atrás do modelo do próprio desenvolvedor, e nenhuma tabela inclui os quatro. Não encontramos nenhuma comparação independente.

O que levar disso

As diferenças que você pode verificar sem um benchmark importam mais:

  • Idiomas: 33 para Hy-MT2, 53 para PLaMo 3 Translate, 55 para TranslateGemma e 150 para Index-Translate.
  • Licenças: Apache 2.0 para Hy-MT2 e Index-Translate, os Gemma Terms of Use com uma política de uso para TranslateGemma, e a PLaMo Community License com limite de receita.
  • Limites e controles: TranslateGemma aceita 2K tokens de entrada e um template rigoroso de códigos de idioma, PLaMo aceita 32.768 tokens somando entrada e saída, e Hy-MT2 e Index-Translate aceitam instruções para tags e glossários, com controle de tom no caso do Index-Translate.
  • Versões pequenas: um GGUF de 4 bits de 0,57 GB para PLaMo 0.8B, um GGUF de 4 bits de 1,31 GB para Index-Translate-2B e uma versão de 1,25 bits de 440 MB do Hy-MT2-1.8B.

Depois traduza de 50 a 100 frases do seu próprio texto com dois ou três candidatos e peça a alguém que fale o idioma de destino para lê-las. Nossa lista de modelos de tradução e o guia para escolher um modelo de tradução detalham os passos, e a página Index-Translate vs TranslateGemma compara os dois tradutores que aceitam imagens.

Fontes

Modelos nesta história

Modelo Lançamento Parâmetros Contexto Licença Memória da menor variante
TranslateGemma EN Google DeepMind 4.3B – 27.4B 2K Gemma Terms (Condicional) 2.97 GB Notebook ou celular
Hy-MT2 EN Tencent 2.04B – 30.1B 3B ativos 256K Apache 2.0 (Permissiva) 1.41 GB Notebook ou celular
Index-Translate EN Bilibili 2.27B – 36B 3B ativos 256K Apache 2.0 (Permissiva) 1.44 GB Notebook ou celular
PLaMo 3 Translate EN Preferred Networks 890M – 31.8B 32K PLaMo Community (Condicional) 0.614 GB Notebook ou celular