Confucius4-R2T2
网易有道的流式语音识别模型,已确认的文字不会再被修改,基于 Qwen3-ASR-1.7B 改造。
一句话概括. Confucius4-R2T2 在你说话的同时把语音转成文字,而且它显示出来的文字之后不会再变。这避免了许多实时字幕里的闪烁,也让软件可以立刻根据转写内容采取行动。它对中文和英文效果最好,在低于某些大公司上限时可以免费商用。
概述
Confucius4-R2T2 是网易有道推出的流式语音识别模型。R2T2 是 Real Real-Time Transcription 的缩写,模型会把转写文字永久确定下来,不会回头修改已经显示的词。它基于 Qwen3-ASR-1.7B 改造,用网易所说的“最长稳定前缀”(Longest Stable Prefix)学习方法,在 1,500 小时的中英文音频上训练。监督微调和 GRPO 两个训练阶段只更新语言解码器,音频编码器和投影层保持冻结。解码块长度可以在 80 毫秒到 2 秒之间设置,临时 token 的数量设置用来在准确率和延迟之间取舍,U=1 偏重质量,U=0 偏重更低的延迟。
这些数字都来自网易自己。在 13 个中英文测试集上,用 160 毫秒的块长和一个临时 token,平均错误率是 5.76%,同样方式运行的未改造基础模型是 21.01%,全上下文参考是 5.15%。在 LibriSpeech clean 上,它的词错误率是 1.91%,Nemotron 3.5 是 3.71%,模型卡中标为 Voxtral RT 的是 3.05%,模型卡称它在测试的开源模型中排名第一。同一张表里还有两个匿名的商用系统在若干测试集上超过了它,尤其是中文会议语音。在后训练中没有出现的十种语言的 18 个测试集上,它的宏平均错误率是 8.40%,离线运行的基础模型是 5.99%。
检查点是 4.08 GB 的 bf16 文件。另有一个 GGUF 仓库,提供 1.11 GB 的 Q4_K_M、1.83 GB 的 Q8_0 以及音频投影层文件。它可以通过官方 Qwen3-ASR Docker 镜像里的 vLLM、Python API、Transformers 离线路线或 llama.cpp 解码来运行,并支持主题和词汇提示。仓库还提供可同时服务多个客户端的 WebSocket 服务器,它会用到一个单独的 FireRedVAD 语音活动检测模型。代码是 Apache 2.0,权重使用网易有道模型使用许可协议。Hugging Face 仓库创建于 2026 年 9 月 10 日,论文 arXiv 2611.06043 发表在 11 月,所以我们只写到月份。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计主仓库约有 45,000 次下载,GGUF 仓库约有 6,500 次。
适合做什么
- 文字出现后不能再变化的实时字幕和语音界面
- 一拿到转写内容就要采取行动的语音智能体
- 在自己的服务器上做中英文转写,基于开放的 Qwen3-ASR
- 用块长和临时 token 设置来调节准确率与延迟的平衡
需要注意
- 准确率表格来自网易自己,其中两个商用系统在若干测试集上做得更好
- 后训练只用了中英文,测试的另外十种语言落后于离线运行的基础模型
- 月活跃用户超过 1 亿或年营收超过 10 亿元人民币时需要另行协议,并且禁止用该模型改进其他商业 AI 模型
- 文档中的部署围绕 vLLM 或内置的 llama.cpp 解码器与 CUDA 展开,模型卡推荐使用 Docker
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Confucius4-R2T2 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| Confucius4-R2T2 BF16 | 2.04B | 4.08 GB | 4.69 GB | 笔记本或手机 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
网易有道 Confucius4-R2T2 语音识别模型的许可证。除非你或关联方的月活跃用户超过 1 亿,或年营收超过 10 亿元人民币,否则允许商用,超过则需要另行获得许可。它还禁止用该模型改进其他 AI 模型(非商业模型除外),并禁止高风险用途。
- 仅在营收低于上限时可免费商用
- 须遵守可接受使用政策
进一步了解 NetEase Youdao Model Use
延伸阅读
常见问题
- Confucius4-R2T2 是什么?
- Confucius4-R2T2 在你说话的同时把语音转成文字,而且它显示出来的文字之后不会再变。这避免了许多实时字幕里的闪烁,也让软件可以立刻根据转写内容采取行动。它对中文和英文效果最好,在低于某些大公司上限时可以免费商用。
- Confucius4-R2T2 可以商用吗?
- 可以,但有条件。Confucius4-R2T2 采用 NetEase Youdao Model Use 发布,允许商用,但附带额外规则:仅在营收低于上限时可免费商用; 须遵守可接受使用政策。产品上线前请阅读许可证原文。
- Confucius4-R2T2 是开源的吗?
- Confucius4-R2T2 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 NetEase Youdao Model Use 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Confucius4-R2T2 吗?
- 可以。最小版本 Confucius4-R2T2 在 4 位精度下约需 4.69 GB 内存,现代笔记本或中端显卡即可胜任。
- Confucius4-R2T2 是什么时候发布的?
- Confucius4-R2T2 由 NetEase Youdao 于 2026年9月 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Confucius4-R2T2 model card (Hugging Face) huggingface.co
- Confucius4-R2T2 repository: install, backends and evaluation (GitHub) github.com
- NetEase Youdao Model Use License Agreement (GitHub) github.com
- Confucius4-R2T2 GGUF repository (Hugging Face) huggingface.co
- Confucius4-R2T2 paper (arXiv 2611.06043) arxiv.org
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen3-ASR Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (宽松) | 2.12 GB 笔记本或手机 | |
| Voxtral Realtime Mistral AI | 4.43B | 128K | Apache 2.0 (宽松) | 10 GB 笔记本或手机 | |
| Nemotron 3.5 ASR NVIDIA | 638M | – | OpenMDW-1.1 (宽松) | 2.93 GB 笔记本或手机 | |
| Nemotron 3.5 Transcribe NVIDIA | 34B 激活 4.3B | 64K | OpenMDW-1.1 (宽松) | 25 GB 游戏显卡 |