Confucius4-R2T2

NetEase Youdao의 스트리밍 음성 인식기. 확정한 단어를 다시 고치지 않으며, Qwen3-ASR-1.7B를 개조했습니다.

간단 요약. Confucius4-R2T2는 말하는 동시에 음성을 텍스트로 바꾸며, 한번 보여 준 단어는 이후에 절대 바뀌지 않습니다. 많은 실시간 자막에서 보이는 깜빡임을 피할 수 있고, 소프트웨어는 전사 결과에 즉시 대응할 수 있습니다. 중국어와 영어에 가장 잘 맞고, 일정한 대기업 기준을 넘지 않으면 상업적으로도 무료입니다.

요약

Confucius4-R2T2는 NetEase Youdao의 스트리밍 음성 인식 모델입니다. R2T2는 Real Real-Time Transcription의 줄임말로, 모델은 전사 텍스트를 영구 확정하며 이미 보여 준 단어를 되돌아가 수정하지 않습니다. NetEase가 Longest Stable Prefix(최장 안정 접두어) 학습이라 부르는 방식으로 Qwen3-ASR-1.7B를 1,500시간의 중국어·영어 오디오에 맞게 적응시켰습니다. 지도 파인튜닝과 GRPO의 두 학습 단계에서는 언어 디코더만 갱신하고 오디오 인코더와 프로젝터는 얼려 둡니다. 디코딩 청크 길이는 80ms에서 2초 사이로 정할 수 있고, 임시 토큰 설정은 정확도와 지연 사이의 균형을 조절하며, U=1은 품질을, U=0은 낮은 지연을 선호합니다.

수치는 NetEase의 자체 것입니다. 13개의 중국어·영어 테스트 세트에서 160ms 청크와 임시 토큰 하나 조건의 평균 오류율은 5.76%이며, 같은 방식으로 돌린 미적응 베이스 모델은 21.01%, 전체 컨텍스트 참조는 5.15%입니다. LibriSpeech clean에서는 단어 오류율 1.91%로, 카드 표기 기준 Nemotron 3.5는 3.71%, Voxtral RT는 3.05%이며, 카드는 테스트한 오픈소스 모델 중 1위라고 밝힙니다. 같은 표에는 익명의 상용 시스템 두 개가 실려 있어 여러 세트, 특히 중국어 회의 음성에서 이 모델을 앞섭니다. 사후 학습에 없던 10개 언어의 18개 테스트 세트에서는 매크로 오류율이 8.40%이고, 오프라인 베이스 모델은 5.99%입니다.

체크포인트는 4.08GB bf16 파일입니다. 별도의 GGUF 저장소에는 1.11GB Q4_K_M과 1.83GB Q8_0에 오디오 프로젝터 파일이 더해집니다. 공식 Qwen3-ASR Docker 이미지의 vLLM, Python API, Transformers 오프라인 경로, llama.cpp 디코딩으로 실행되며, 주제와 어휘 힌트도 받습니다. 저장소에는 여러 클라이언트를 동시에 처리하는 WebSocket 서버도 들어 있는데, 이는 별개의 FireRedVAD 음성 활동 감지 모델을 사용합니다. 코드는 Apache 2.0이고 가중치는 NetEase Youdao Model Use License Agreement를 따릅니다. Hugging Face 저장소는 2026년 9월 10일에 만들어졌고 논문 arXiv 2611.06043는 11월 것이므로, 여기서는 월까지만 표기합니다. 2026년 11월 11일까지 30일간 Hugging Face는 본 저장소 약 45,000회, GGUF 저장소 약 6,500회의 다운로드를 집계했습니다.

적합한 용도

  • 단어가 나타난 뒤에 변하면 안 되는 실시간 자막과 음성 인터페이스
  • 전사가 도착하는 순간 행동해야 하는 음성 에이전트
  • 오픈 Qwen3-ASR 기반으로 자체 서버에서 하는 중국어·영어 전사
  • 청크 길이와 임시 토큰 설정으로 정확도와 지연의 균형을 조절

주의할 점

  • 정확도 표는 NetEase의 자체 것이며, 그 안의 두 상용 시스템이 여러 테스트 세트에서 더 좋았습니다
  • 사후 학습은 중국어와 영어만 사용했고, 테스트된 다른 10개 언어는 오프라인 베이스 모델에 뒤집니다
  • 월간 활성 사용자 1억 명 또는 연 매출 10억 위안화를 넘으면 별도 계약이 필요하고, 이 모델로 다른 상용 AI 모델을 개선하는 것은 금지됩니다
  • 문서화된 구성은 CUDA를 곁들인 vLLM 또는 번들 llama.cpp 디코더를 중심으로 만들어져 있고, 카드는 Docker를 권합니다

성능 주장은 개발사가 제공한 것이며 독립적으로 검증되지 않았습니다.

메모리가 얼마나 필요할까?

Confucius4-R2T2의 각 버전별 메모리 수치입니다. 이미지, 영상, 음성, 음악 파이프라인은 텍스트 인코더와 디코더도 함께 불러오기 때문에 필요한 메모리가 메인 체크포인트보다 커질 수 있습니다.

버전 파라미터 다운로드 크기 필요 메모리 실행 가능 하드웨어
Confucius4-R2T2 BF16 2.04B 4.08 GB 4.69 GB 노트북 또는 휴대폰

다운로드 크기는 생성기, 텍스트 인코더, 디코더 등 모델 실행에 필요한 모든 구성 요소를 포함합니다. 필요 메모리는 개발사가 밝히거나 공개된 실측 최솟값이 있으면 그 값을, 없으면 다운로드 크기에 약 15%를 더해 추정합니다. 더 큰 이미지, 더 긴 클립, 더 높은 해상도는 더 많은 메모리를 필요로 합니다.

라이선스, 쉬운 말로 설명

NetEase Youdao의 Confucius4-R2T2 음성 인식 모델 라이선스입니다. 본인이나 계열사의 월간 활성 사용자가 1억 명을 넘거나 연 수익이 10억 위안(RMB)을 넘지 않으면 상용이 허용되고, 넘으면 별도 라이선스가 필요합니다. 또한 비상용 AI 모델을 제외하고 이 모델로 다른 AI 모델을 개선하는 것과 고위험 용도를 금지합니다.

  • 매출 상한 이하에서만 상업적 이용 무료
  • 사용 정책(허용 범위) 준수 필요

NetEase Youdao Model Use에 대해 더 알아보기

자주 묻는 질문

Confucius4-R2T2(이)란 무엇인가요?
Confucius4-R2T2는 말하는 동시에 음성을 텍스트로 바꾸며, 한번 보여 준 단어는 이후에 절대 바뀌지 않습니다. 많은 실시간 자막에서 보이는 깜빡임을 피할 수 있고, 소프트웨어는 전사 결과에 즉시 대응할 수 있습니다. 중국어와 영어에 가장 잘 맞고, 일정한 대기업 기준을 넘지 않으면 상업적으로도 무료입니다.
Confucius4-R2T2을(를) 상업적으로 사용할 수 있나요?
네, 조건이 있습니다. Confucius4-R2T2은(는) 상업적 이용을 허용하는 NetEase Youdao Model Use로 배포되었지만 추가 규칙이 붙습니다: 매출 상한 이하에서만 상업적 이용 무료; 사용 정책(허용 범위) 준수 필요. 제품을 출시하기 전에 라이선스 전문을 읽어 보세요.
Confucius4-R2T2은(는) 오픈소스인가요?
Confucius4-R2T2은(는) 오픈 웨이트 모델이지 엄밀한 의미의 오픈소스가 아닙니다. 모델 파일은 내려받을 수 있지만, NetEase Youdao Model Use에는 오픈소스 이니셔티브의 정의가 허용하지 않는 조건이 있습니다.
Confucius4-R2T2을(를) 내 컴퓨터에서 실행할 수 있나요?
네. 최소 버전 Confucius4-R2T2 기준 4비트 정밀도에서 메모리가 약 4.69 GB 필요하며, 최신 노트북이나 중급 그래픽 카드에서 충분히 돌아갑니다.
Confucius4-R2T2은(는) 언제 출시되었나요?
Confucius4-R2T2은(는) NetEase Youdao에서 2026년 9월에 출시되었습니다.

공식 링크

출처

규격 정보는 아래 1차 자료에서 가져왔습니다. 언급된 벤치마크 수치는 개발사가 발표한 것입니다.

출시일 등 정보는 2026년 11월 11일에 마지막으로 확인했습니다.

관련 모델

모델 출시일 파라미터 컨텍스트 라이선스 최소 버전 필요 메모리
Qwen3-ASR EN Alibaba Qwen 918M – 2.35B – Apache 2.0 (허용적) 2.12 GB 노트북 또는 휴대폰
Voxtral Realtime EN Mistral AI 4.43B 128K Apache 2.0 (허용적) 10 GB 노트북 또는 휴대폰
Nemotron 3.5 ASR EN NVIDIA 638M – OpenMDW-1.1 (허용적) 2.93 GB 노트북 또는 휴대폰
Nemotron 3.5 Transcribe EN NVIDIA 34B 활성 4.3B 64K OpenMDW-1.1 (허용적) 25 GB 게이밍 GPU