Confucius4-R2T2

网易有道的流式语音识别模型,已确认的文字不会再被修改,基于 Qwen3-ASR-1.7B 改造。

一句话概括. Confucius4-R2T2 在你说话的同时把语音转成文字,而且它显示出来的文字之后不会再变。这避免了许多实时字幕里的闪烁,也让软件可以立刻根据转写内容采取行动。它对中文和英文效果最好,在低于某些大公司上限时可以免费商用。

概述

Confucius4-R2T2 是网易有道推出的流式语音识别模型。R2T2 是 Real Real-Time Transcription 的缩写,模型会把转写文字永久确定下来,不会回头修改已经显示的词。它基于 Qwen3-ASR-1.7B 改造,用网易所说的“最长稳定前缀”(Longest Stable Prefix)学习方法,在 1,500 小时的中英文音频上训练。监督微调和 GRPO 两个训练阶段只更新语言解码器,音频编码器和投影层保持冻结。解码块长度可以在 80 毫秒到 2 秒之间设置,临时 token 的数量设置用来在准确率和延迟之间取舍,U=1 偏重质量,U=0 偏重更低的延迟。

这些数字都来自网易自己。在 13 个中英文测试集上,用 160 毫秒的块长和一个临时 token,平均错误率是 5.76%,同样方式运行的未改造基础模型是 21.01%,全上下文参考是 5.15%。在 LibriSpeech clean 上,它的词错误率是 1.91%,Nemotron 3.5 是 3.71%,模型卡中标为 Voxtral RT 的是 3.05%,模型卡称它在测试的开源模型中排名第一。同一张表里还有两个匿名的商用系统在若干测试集上超过了它,尤其是中文会议语音。在后训练中没有出现的十种语言的 18 个测试集上,它的宏平均错误率是 8.40%,离线运行的基础模型是 5.99%。

检查点是 4.08 GB 的 bf16 文件。另有一个 GGUF 仓库,提供 1.11 GB 的 Q4_K_M、1.83 GB 的 Q8_0 以及音频投影层文件。它可以通过官方 Qwen3-ASR Docker 镜像里的 vLLM、Python API、Transformers 离线路线或 llama.cpp 解码来运行,并支持主题和词汇提示。仓库还提供可同时服务多个客户端的 WebSocket 服务器,它会用到一个单独的 FireRedVAD 语音活动检测模型。代码是 Apache 2.0,权重使用网易有道模型使用许可协议。Hugging Face 仓库创建于 2026 年 9 月 10 日,论文 arXiv 2611.06043 发表在 11 月,所以我们只写到月份。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计主仓库约有 45,000 次下载,GGUF 仓库约有 6,500 次。

适合做什么

  • 文字出现后不能再变化的实时字幕和语音界面
  • 一拿到转写内容就要采取行动的语音智能体
  • 在自己的服务器上做中英文转写,基于开放的 Qwen3-ASR
  • 用块长和临时 token 设置来调节准确率与延迟的平衡

需要注意

  • 准确率表格来自网易自己,其中两个商用系统在若干测试集上做得更好
  • 后训练只用了中英文,测试的另外十种语言落后于离线运行的基础模型
  • 月活跃用户超过 1 亿或年营收超过 10 亿元人民币时需要另行协议,并且禁止用该模型改进其他商业 AI 模型
  • 文档中的部署围绕 vLLM 或内置的 llama.cpp 解码器与 CUDA 展开,模型卡推荐使用 Docker

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Confucius4-R2T2 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
Confucius4-R2T2 BF16 2.04B 4.08 GB 4.69 GB 笔记本或手机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

网易有道 Confucius4-R2T2 语音识别模型的许可证。除非你或关联方的月活跃用户超过 1 亿,或年营收超过 10 亿元人民币,否则允许商用,超过则需要另行获得许可。它还禁止用该模型改进其他 AI 模型(非商业模型除外),并禁止高风险用途。

  • 仅在营收低于上限时可免费商用
  • 须遵守可接受使用政策

进一步了解 NetEase Youdao Model Use

延伸阅读

常见问题

Confucius4-R2T2 是什么?
Confucius4-R2T2 在你说话的同时把语音转成文字,而且它显示出来的文字之后不会再变。这避免了许多实时字幕里的闪烁,也让软件可以立刻根据转写内容采取行动。它对中文和英文效果最好,在低于某些大公司上限时可以免费商用。
Confucius4-R2T2 可以商用吗?
可以,但有条件。Confucius4-R2T2 采用 NetEase Youdao Model Use 发布,允许商用,但附带额外规则:仅在营收低于上限时可免费商用; 须遵守可接受使用政策。产品上线前请阅读许可证原文。
Confucius4-R2T2 是开源的吗?
Confucius4-R2T2 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 NetEase Youdao Model Use 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Confucius4-R2T2 吗?
可以。最小版本 Confucius4-R2T2 在 4 位精度下约需 4.69 GB 内存,现代笔记本或中端显卡即可胜任。
Confucius4-R2T2 是什么时候发布的?
Confucius4-R2T2 由 NetEase Youdao 于 2026年9月 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3-ASR Alibaba Qwen 918M – 2.35B – Apache 2.0 (宽松) 2.12 GB 笔记本或手机
Voxtral Realtime Mistral AI 4.43B 128K Apache 2.0 (宽松) 10 GB 笔记本或手机
Nemotron 3.5 ASR NVIDIA 638M – OpenMDW-1.1 (宽松) 2.93 GB 笔记本或手机
Nemotron 3.5 Transcribe NVIDIA 34B 激活 4.3B 64K OpenMDW-1.1 (宽松) 25 GB 游戏显卡