Confucius4-R2T2
NetEase Youdaoのストリーミング音声認識。確定した単語を二度と修正しない設計で、Qwen3-ASR-1.7Bを改造。
ひとことで. Confucius4-R2T2は、話されているのと同時に音声をテキストに変え、いったん表示した単語は後で絶対に変えません。多くのライブ字幕で見られるちらつきを避けられ、ソフトウェアは転写結果をすぐに扱えます。中国語と英語に最も適しており、一定の大企業の上限を下回れば商用も無料です。
概要
Confucius4-R2T2はNetEase Youdaoのストリーミング音声認識モデルです。R2T2はReal Real-Time Transcriptionの略で、モデルは転写テキストを永続的に確定し、一度表示した単語に戻って修正しません。Qwen3-ASR-1.7Bを、NetEaseがLongest Stable Prefix(最長安定プレフィックス)学習と呼ぶ手法で、1,500時間の中国語・英語音声に適応させました。教師ありファインチューニングとGRPOの2段階の学習では言語デコーダのみを更新し、音声エンコーダとプロジェクタは凍結されたままです。デコードのチャンク長は80ミリ秒から2秒の間で設定でき、暫定トークンの設定は正確さと遅延のトレードオフを調整し、U=1は品質、U=0は低遅延を重視します。
数字はNetEase自身のものです。13の中国語・英語テストセットで、160ミリ秒のチャンクと暫定トークン1個の条件では、平均エラー率は5.76%です。同じ条件で動かした未適応のベースモデルは21.01%、全コンテキストの参照は5.15%です。LibriSpeech cleanでは単語エラー率1.91%で、モデルカードの表記ではNemotron 3.5が3.71%、Voxtral RTが3.05%であり、カードはテストしたオープンソースモデルの中で1位だと述べています。同じ表には2つの匿名の商用システムが載っており、いくつかのセット、特に中国語の会議音声でこれを上回ります。後学習に含まれない10言語の18テストセットでは、マクロ平均エラー率は8.40%で、オフラインで動くベースモデルは5.99%です。
チェックポイントは4.08 GBのbf16ファイルです。別のGGUFリポジトリには、1.11 GBのQ4_K_M、1.83 GBのQ8_0、そして音声プロジェクタのファイルが加わります。公式のQwen3-ASR Dockerイメージ上のvLLM、Python API、Transformersのオフライン経路、llama.cppでのデコードで実行でき、トピックや語彙のヒントも受け付けます。リポジトリには複数クライアントを同時に扱うWebSocketサーバも同梱されており、これは別のFireRedVAD音声活動検出モデルを使います。コードはApache 2.0、重みはNetEase Youdao Model Use License Agreementに従います。Hugging Faceリポジトリは2026年9月10日に作られ、論文arXiv 2611.06043は11月のものなので、ここでは月までしか示しません。2026年11月11日までの30日間で、Hugging Faceはメインリポジトリのダウンロード約45,000回、GGUFリポジトリ約6,500回を数えました。
おすすめの用途
- 表示後の単語が変わってはいけないライブ字幕と音声インターフェース
- 転写が届いた瞬間に動作する音声エージェント
- オープンなQwen3-ASRをベースにした、自社サーバでの中国語・英語転写
- チャンク長と暫定トークンの設定で、正確さと遅延のバランスを調整
注意点
- 正確さの表はNetEase自身のもので、その中の2つの商用システムがいくつかのテストセットで上回りました
- 後学習は中国語と英語のみで、テストされた他の10言語はオフラインのベースモデルに劣ります
- 月間アクティブユーザー1億人以上または年間売上高10億人民元を超えると別契約が必要で、このモデルを使った他の商用AIモデルの改良は禁止されています
- 文書化された構成はCUDA付きのvLLMまたは同梱のllama.cppデコーダを中心に組み立てられており、モデルカードはDockerを推奨します
性能に関する主張は開発元によるもので、独自検証は行っていません。
必要なメモリはどのくらい?
Confucius4-R2T2 の各バリエーションのメモリ数値です。画像・動画・音声・音楽の生成パイプラインはテキストエンコーダやデコーダも読み込むため、必要メモリはメインのチェックポイントより大きくなることがあります。
| バリエーション | パラメータ数 | ダウンロードサイズ | 必要メモリ | 動かせるマシン |
|---|---|---|---|---|
| Confucius4-R2T2 BF16 | 2.04B | 4.08 GB | 4.69 GB | ノートPCまたはスマートフォン |
ダウンロードサイズには、モデルの実行に必要なすべてのコンポーネント(ジェネレータ、テキストエンコーダ、デコーダなど)が含まれます。必要メモリは、開発元が公表している実測の最小値があればそれを採用し、なければダウンロードサイズに約15%を加えた推定値です。より大きな画像、より長いクリップ、より高い解像度ではさらに多くのメモリが必要です。
このライセンスをやさしく解説
NetEase Youdao の Confucius4-R2T2 音声認識モデルのライセンスです。あなたや関連企業の月間アクティブユーザーが1億人を超えるか、年間収益が10億人民元(RMB)を超えない限り商用利用が認められ、それを超える場合は別途ライセンスが必要です。また、非商用の AI モデルを除き、このモデルを使って他の AI モデルを改良することや、高リスクな用途を禁じています。
- 売上が上限を下回る場合のみ商用利用が無料
- 利用ポリシーの適用を受ける
よくある質問
- Confucius4-R2T2 とは何ですか?
- Confucius4-R2T2は、話されているのと同時に音声をテキストに変え、いったん表示した単語は後で絶対に変えません。多くのライブ字幕で見られるちらつきを避けられ、ソフトウェアは転写結果をすぐに扱えます。中国語と英語に最も適しており、一定の大企業の上限を下回れば商用も無料です。
- Confucius4-R2T2 は商用利用できますか?
- はい、条件付きで可能です。Confucius4-R2T2 は NetEase Youdao Model Use で公開されており、商用利用は許可されていますが、追加のルールがあります:売上が上限を下回る場合のみ商用利用が無料; 利用ポリシーの適用を受ける。製品をリリースする前にライセンス原文をお読みください。
- Confucius4-R2T2 はオープンソースですか?
- Confucius4-R2T2 はオープンウェイトであり、厳密な意味でのオープンソースではありません。モデルファイルはダウンロードできますが、NetEase Youdao Model Use には、Open Source Initiative の定義では認められない条件が加えられています。
- Confucius4-R2T2 を自分のPCで動かせますか?
- はい。最小のバリエーション Confucius4-R2T2 は、4ビット精度で約 4.69 GB のメモリが必要です。最新のノートPCやミドルクラスのグラフィックボードで動きます。
- Confucius4-R2T2 はいつリリースされましたか?
- Confucius4-R2T2 は NetEase Youdao が 2026年9月 にリリースしました。
公式リンク
出典
仕様は以下の一次資料に基づきます。ベンチマークの主張がある場合は開発元の公表値です。
- Confucius4-R2T2 model card (Hugging Face) huggingface.co
- Confucius4-R2T2 repository: install, backends and evaluation (GitHub) github.com
- NetEase Youdao Model Use License Agreement (GitHub) github.com
- Confucius4-R2T2 GGUF repository (Hugging Face) huggingface.co
- Confucius4-R2T2 paper (arXiv 2611.06043) arxiv.org
リリース日と掲載内容は 2026年11月11日 時点で確認済みです。
関連モデル
| モデル | リリース日 | パラメータ数 | コンテキスト | ライセンス | 最小バリエーションの必要メモリ |
|---|---|---|---|---|---|
| Qwen3-ASR EN Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (パーミッシブ) | 2.12 GB ノートPCまたはスマートフォン | |
| Voxtral Realtime EN Mistral AI | 4.43B | 128K | Apache 2.0 (パーミッシブ) | 10 GB ノートPCまたはスマートフォン | |
| Nemotron 3.5 ASR EN NVIDIA | 638M | – | OpenMDW-1.1 (パーミッシブ) | 2.93 GB ノートPCまたはスマートフォン | |
| Nemotron 3.5 Transcribe EN NVIDIA | 34B アクティブ 4.3B | 64K | OpenMDW-1.1 (パーミッシブ) | 25 GB ゲーミングGPU |