네 오픈 번역 모델, 네 가지 저울질

TranslateGemma, Hy-MT2, Index-Translate, PLaMo 3 Translate는 각각 다른 테스트 세트·지표·비교 대상으로 품질을 보고해 요구사항을 직접 비교할 수 없습니다.

  • 분석
  • 읽는 데 2분
  • 게시일

10개월 동안 오픈 번역 모델 4개 패밀리가 등장했습니다. 2026년 1월 Google의 TranslateGemma, 5월 Tencent의 Hy-MT2, 9월 Bilibili의 Index-Translate, 그리고 11월 5일 Preferred Networks의 PLaMo 3 Translate입니다. 모두 자신이 유리한 보고서를 실어 나왔습니다. 나란히 읽으면 또 다른 사실이 보입니다. 품질을 같은 방식으로 측정한 곳은 하나도 없다는 것입니다.

각 보고서가 측정하는 것

모델 언어 수 주요 점수 비교 대상
TranslateGemma 55 WMT24++에서 MetricX·COMET, WMT25에서 사람 MQM, Vistra 이미지에서 MetricX 자사 Gemma 3 베이스라인
Hy-MT2 33 일반·비즈니스·도메인·지시 이행 테스트, 자체 IFMTBench DeepSeek-V4-Pro, Kimi K2.6, Microsoft·Doubao API
Index-Translate 150 FLORES·WMT24++ COMET-22, WMT26 LLM 판정, 자체 instTrans·MEME 세트 Hy-MT2, TranslateGemma, Qwen3.5, DeepSeek-V4.1-Flash, GPT-5.6-Sol, Gemini 3.5 Flash Lite
PLaMo 3 Translate 53 FLORES+ chrF++, WMT24++ 영→일 COMET-22, 자체 PFTB·SaaS 세트 TranslateGemma, Hy-MT2

번역 지표 용어집에서 MetricX, COMET, chrF++, MQM을 설명합니다. 어느 행도 개발사 자체 작업이며, 사내 제작 세트 대부분은 공개되지 않았습니다.

하나의 벤치마크, 세 가지 의미

WMT24++는 두 개 이상의 보고서에 등장하는 유일한 테스트지만 쓰임새는 저마다 다릅니다. Google은 55개 언어를 다루며 낮을수록 좋은 MetricX와 0100 척도의 COMET를 보고합니다. Bilibili는 영어에서 20개 언어로의 번역을 01 척도 COMET-22로 시험했습니다. PFN은 영→일 트랙만 쓰고, 이 벤치마크는 짧은 문장과 신뢰에 의문이 있는 참조译文을 갖고 있다며 주로 자체 세트 두 개에 의존했습니다. PFTB의 참조는 여러 LLM으로 작성됐고, SaaS 세트는 HTML 태그가 든 웹 페이지를 번역합니다. 둘 다 참조와의 문자 겹침으로 채점되며, PFN은 참조가 좋으면 유효하다고 주장합니다.

Bilibili도 자체 instTrans·MEME 세트를 만들고 여러 점수의 판정에 GPT-5.6-Sol을 씁니다. 벤치마크 항목은 개발사 스스로 보고하는 점수에 주의가 필요한 이유를 설명합니다. 배경 설정이 자사 모델을 가장 유리하게 보이도록 고르는 경우가 많기 때문입니다.

주장이 교차하는 지점

이 그룹의 경쟁 모델을 포함한 보고서가 두 개 있어 읽을 거리가 있습니다. Bilibili 표에서 9B 모델은 9개 열 중 8개에서 Hy-MT2-7B와 TranslateGemma-12B를 앞섭니다. 격차가 가장 큰 것은 지시 이행인데, TranslateGemma의 문서화된 템플릿은 이를 제공하지 않습니다. 두 경쟁 모델은 참조 기반 IFMTBench 점수 하나에서 근소하게 앞섭니다. 또 TranslateGemma-12B는 같은 보고서의 저자원 FLORES 시험에서 오프타깃률이 낮습니다. 1.7% 대 9B 모델의 4.0%입니다.

IFMTBench는 Tencent가 만들었다는 점에서 주목할 만합니다. 경쟁 모델도 보고하는 유일한 지시 이행 시험이지만, 여기서 Index-Translate 9B는 0.8760, Hy-MT2-7B는 0.8741로 승리라 부를 만한 격차가 아닙니다. 반면 PFN 차트에서는 모든 PLaMo 크기가 영일·다국어 시험에서 TranslateGemma와 Hy-MT2를 모두 앞서지만 Index-Translate는 빠져 있습니다. Google 보고서는 TranslateGemma를 자사 Gemma 3 베이스라인과만 비교하고, Tencent 초록은 경쟁으로 DeepSeek-V4-Pro, Kimi K2.6, 상용 API를 꼽습니다. 이 그룹의 경쟁을 포함한 두 표에서 경쟁 모델은 개발사 자체 모델 뒤에 놓이며, 넷을 모두 담은 표는 없습니다. 독립적인 비교는 찾지 못했습니다.

무엇을 가져갈 것인가

벤치마크 없이 확인할 수 있는 차이가 더 중요합니다.

  • 언어: Hy-MT2 33, PLaMo 3 Translate 53, TranslateGemma 55, Index-Translate 150.
  • 라이선스: Hy-MT2와 Index-Translate는 Apache 2.0, TranslateGemma는 이용 정책이 붙은 Gemma Terms of Use, PLaMo는 매출 제한이 있는 PLaMo Community License.
  • 제한과 제어: TranslateGemma는 입력 2K 토큰과 엄격한 언어 코드 템플릿, PLaMo는 입출력 합계 32,768 토큰, Hy-MT2와 Index-Translate는 태그·용어집 지시를 받고 Index-Translate는 톤 제어도 가능.
  • 소형 빌드: PLaMo 0.8B 4비트 GGUF 0.57 GB, Index-Translate-2B 4비트 GGUF 1.31 GB, Hy-MT2-1.8B 1.25비트 빌드 440 MB.

그다음 자신의 문장 50~100개를 두세 후보로 번역해 보고 대상 언어 화자에게 읽혀 보세요. 번역 모델 목록과 번역 모델 고르기 가이드에 절차를 정리했고, Index-Translate vs TranslateGemma 페이지에서 이미지를 받는 두 번역 모델을 비교합니다.

출처

이 기사에 나오는 모델

모델 출시일 파라미터 컨텍스트 라이선스 최소 버전 필요 메모리
TranslateGemma EN Google DeepMind 4.3B – 27.4B 2K Gemma Terms (조건부) 2.97 GB 노트북 또는 휴대폰
Hy-MT2 EN Tencent 2.04B – 30.1B 활성 3B 256K Apache 2.0 (허용적) 1.41 GB 노트북 또는 휴대폰
Index-Translate EN Bilibili 2.27B – 36B 활성 3B 256K Apache 2.0 (허용적) 1.44 GB 노트북 또는 휴대폰
PLaMo 3 Translate EN Preferred Networks 890M – 31.8B 32K PLaMo Community (조건부) 0.614 GB 노트북 또는 휴대폰