Quatro modelos de tradução abertos, quatro réguas diferentes
TranslateGemma, Hy-MT2, Index-Translate e PLaMo 3 Translate reportam qualidade em conjuntos de teste, métricas e rivais diferentes, então suas afirmações não podem ser comparadas diretamente.
Quatro famílias de modelos de tradução abertos chegaram em dez meses: TranslateGemma da Google em janeiro de 2026, Hy-MT2 da Tencent em maio, Index-Translate da Bilibili em setembro e PLaMo 3 Translate da Preferred Networks em 5 de novembro. Cada um veio com um relatório em que se sai bem. Lidos lado a lado, os relatórios mostram outra coisa: não há dois que meçam qualidade da mesma maneira.
O que cada relatório mede
| Modelo | Idiomas | Pontuações principais | Comparado com |
|---|---|---|---|
| TranslateGemma | 55 | MetricX e COMET no WMT24++, MQM humano no WMT25, MetricX em imagens Vistra | Suas próprias baselines Gemma 3 |
| Hy-MT2 | 33 | Testes gerais, de negócios, de domínio e de seguimento de instruções, além do próprio IFMTBench | DeepSeek-V4-Pro, Kimi K2.6, APIs da Microsoft e Doubao |
| Index-Translate | 150 | COMET-22 no FLORES e WMT24++, um juiz LLM no WMT26, seus próprios conjuntos instTrans e MEME | Hy-MT2, TranslateGemma, Qwen3.5, DeepSeek-V4.1-Flash, GPT-5.6-Sol, Gemini 3.5 Flash Lite |
| PLaMo 3 Translate | 53 | chrF++ no FLORES+, COMET-22 no WMT24++ inglês para japonês, seus próprios conjuntos PFTB e SaaS | TranslateGemma e Hy-MT2 |
A entrada do glossário sobre métricas de tradução explica MetricX, COMET, chrF++ e MQM. Cada linha é trabalho do próprio desenvolvedor, e a maioria dos conjuntos feitos internamente não é pública.
Um benchmark, três significados
O WMT24++ é o único teste que aparece em mais de um relatório, e cada relatório o usa de forma diferente. A Google cobre 55 idiomas e reporta MetricX, onde menor é melhor, e COMET numa escala de 0 a 100. A Bilibili testa do inglês para 20 idiomas com COMET-22 numa escala de 0 a 1. A PFN usa apenas a pista de inglês para japonês, e diz que o benchmark tem frases curtas e referências sobre as quais tinha preocupações, então se apoiou principalmente em dois conjuntos próprios. O PFTB tem referências escritas com vários LLMs, e o conjunto SaaS traduz páginas web que carregam tags HTML. Ambos são pontuados por sobreposição de caracteres com a referência, o que a PFN argumenta funcionar quando as referências são boas.
A Bilibili também construiu seus próprios conjuntos instTrans e MEME, e usa GPT-5.6-Sol como juiz para várias de suas pontuações. A entrada de benchmark explica por que pontuações que os desenvolvedores relatam sobre si mesmos exigem cuidado, já que as configurações por trás delas costumam ser escolhidas para mostrar o modelo na melhor forma.
Onde as afirmações se cruzam
Dois relatórios incluem rivais deste grupo, então há algo para ler. A tabela da Bilibili coloca seu modelo de 9B à frente de Hy-MT2-7B e TranslateGemma-12B em oito de nove colunas, com a maior margem no seguimento de instruções, que o template documentado do TranslateGemma não oferece. Ambos os rivais ficam ligeiramente à frente em uma pontuação de referência do IFMTBench. O TranslateGemma-12B também tem uma taxa de fora-de-alvo menor no teste FLORES de baixos recursos do relatório: 1,7% contra 4,0% do modelo de 9B.
O IFMTBench merece uma nota porque a Tencent o construiu. É o único teste de seguimento de instruções aqui que um rival também reporta, e nele o Index-Translate de 9B pontua 0,8760 contra 0,8741 do Hy-MT2-7B, uma diferença pequena demais para ler como vitória. Os gráficos da PFN, por sua vez, colocam cada tamanho do PLaMo à frente de TranslateGemma e Hy-MT2 nos testes japonês-inglês e multilíngues, mas deixam o Index-Translate de fora. O relatório da Google compara o TranslateGemma apenas com suas baselines Gemma 3, e o resumo da Tencent cita DeepSeek-V4-Pro, Kimi K2.6 e APIs comerciais como rivais. Nas duas tabelas que incluem rivais deste grupo, os rivais ficam atrás do modelo do próprio desenvolvedor, e nenhuma tabela inclui os quatro. Não encontramos nenhuma comparação independente.
O que levar disso
As diferenças que você pode verificar sem um benchmark importam mais:
- Idiomas: 33 para Hy-MT2, 53 para PLaMo 3 Translate, 55 para TranslateGemma e 150 para Index-Translate.
- Licenças: Apache 2.0 para Hy-MT2 e Index-Translate, os Gemma Terms of Use com uma política de uso para TranslateGemma, e a PLaMo Community License com limite de receita.
- Limites e controles: TranslateGemma aceita 2K tokens de entrada e um template rigoroso de códigos de idioma, PLaMo aceita 32.768 tokens somando entrada e saída, e Hy-MT2 e Index-Translate aceitam instruções para tags e glossários, com controle de tom no caso do Index-Translate.
- Versões pequenas: um GGUF de 4 bits de 0,57 GB para PLaMo 0.8B, um GGUF de 4 bits de 1,31 GB para Index-Translate-2B e uma versão de 1,25 bits de 440 MB do Hy-MT2-1.8B.
Depois traduza de 50 a 100 frases do seu próprio texto com dois ou três candidatos e peça a alguém que fale o idioma de destino para lê-las. Nossa lista de modelos de tradução e o guia para escolher um modelo de tradução detalham os passos, e a página Index-Translate vs TranslateGemma compara os dois tradutores que aceitam imagens.
Fontes
- TranslateGemma Technical Report (arXiv 2601.09012) arxiv.org
- Hy-MT2: A Family of Fast, Efficient and Powerful Multilingual Translation Models in the Wild (arXiv 2605.22064) arxiv.org
- Index-Translate-9B model card (Hugging Face) huggingface.co
- Index-Translate: A Multilingual Translation Model Family (arXiv 2609.40181) arxiv.org
- PLaMo 3 Translate: World-Class Translation with Open Weights (PFN blog, 5 November 2026) preferred.jp
Modelos nesta história
| Modelo | Lançamento | Parâmetros | Contexto | Licença | Memória da menor variante |
|---|---|---|---|---|---|
| TranslateGemma EN Google DeepMind | 4.3B – 27.4B | 2K | Gemma Terms (Condicional) | 2.97 GB Notebook ou celular | |
| Hy-MT2 EN Tencent | 2.04B – 30.1B 3B ativos | 256K | Apache 2.0 (Permissiva) | 1.41 GB Notebook ou celular | |
| Index-Translate EN Bilibili | 2.27B – 36B 3B ativos | 256K | Apache 2.0 (Permissiva) | 1.44 GB Notebook ou celular | |
| PLaMo 3 Translate EN Preferred Networks | 890M – 31.8B | 32K | PLaMo Community (Condicional) | 0.614 GB Notebook ou celular |