번역 평가 지표(Translation metrics)

번역 평가 지표는 모델 카드가 번역의 품질을 나타내는 점수입니다. 사람의 참조 번역과의 겹침을 세는 것도 있고, 학습된 모델이나 사람 검수자를 사용하는 것도 있으며, 그 척도는 서로 비교할 수 없습니다.

  • 모델 활용
  • 업데이트

오래된 지표는 겹침을 셉니다. BLEU는 단어 시퀀스를 사람의 참조 번역과 비교하고 chrF++는 문자 시퀀스를 비교하므로, 표현은 다르지만 올바른 번역도 점수를 잃습니다. 최신 지표는 사람 평가로 학습된 신경망 모델을 사용합니다. COMET과 그 변형인 XCOMET은 번역을 원문과 참조 번역에 비추어 채점합니다. Google의 MetricX도 같은 방식이지만 수치가 낮을수록 좋습니다. MetricX-QE 같은 품질 추정 버전은 참조가 필요 없고, Google은 TranslateGemma 학습 시 MetricX-QE와, 언어 모델에 사람 검수자처럼 오류를 표시하게 하는 AutoMQM을 보상 모델로 사용했습니다. MQM은 사람 버전입니다. 검수자가 오류를 표시하고 그 감점을 합산하므로 역시 낮을수록 좋습니다. 일부 카드는 대규모 언어 모델을 심사위원으로 쓰기도 하는데, Index-Translate 보고서는 WMT26 심사 점수와 지시 이행 테스트에 GPT-5.6-Sol을 사용했습니다.

숫자를 비교할 때는 주의하세요. TranslateGemma의 카드는 0~100 척도로 COMET을 제시하며, 12B 모델은 55개 언어에 걸친 WMT24++에서 83.5입니다. Index-Translate 보고서는 0~1 척도를 쓰고 WMT24++에서 영어에서 20개 언어로 번역을 시험하므로, 9B 모델의 0.8601은 다른 측정입니다. PLaMo 3 Translate는 chrF++와 내부의 일본어-영어 테스트셋을 보고합니다. 개발자 자신의 표는 어떤 경쟁 모델과 설정을 포함할지도 스스로 고릅니다. 이 모델들을 다루는 독립 리더보드를 찾지 못했기 때문에, 자신의 언어 쌍으로 자기 텍스트 50~100문장을 번역해 보고 목표 언어의 사용자에게 읽어 달라 하세요.

관련 용어

  • 벤치마크(Benchmark) 벤치마크는 모델을 비교하기 위한 표준화된 테스트로, 수학, 코딩, 지식 문제 세트 등이 사용됩니다. 점수는 참고가 되지만 과대해석하기 쉽습니다.
  • 기계 번역(Machine translation) 기계 번역은 텍스트, 음성, 이미지 속 문자를 한 언어에서 다른 언어로 옮기는 소프트웨어입니다. 요즘 오픈 모델은 보통 범용 모델에서 출발해 번역 전용으로 학습됩니다.
  • 단어 오류율(WER) 단어 오류율은 음성 인식의 표준 점수입니다. 올바른 참조문과 비교해 전사본에서 틀리거나 빠지거나 더해진 단어의 비율을 말합니다.

전체 용어