Qwen3-Omni
阿里巴巴的 30B-A3B 全模态模型,能读文本、图像、音频和视频,并用 10 种语言以文本或语音作答。Apache 2.0。
一句话概括. Qwen3-Omni 能听语音、看视频、看图像、读文字,还能实时大声回答,而不只是写出来。它每个 token 只激活 30B 参数中的约 3B,但仍然需要 80 GB 级别的 GPU。它采用 Apache 2.0 发布。
概述
Qwen3-Omni 是阿里巴巴的原生多模态模型,输入文本、图像、音频和视频,用文本或实时语音作答。它采用 Thinker-Talker 设计。一个 30B 的混合专家“思考者”(每个 token 约激活 3B 参数,48 层,128 个专家中激活 8 个)读取所有模态并输出文本,另一个独立的“表达者”通过预测多码本音频编解码器并用轻量的因果 ConvNet 解码,把文本转成语音。Instruct 检查点包含两部分,共 352.6 亿参数,BF16 下 70.5 GB。Thinking 检查点只有思考者,带有思维链推理,输出文本,317.2 亿参数,63.5 GB。Captioner 是一个微调版本,能详细描述任意音频。模型卡列出 119 种文本语言、19 种语音输入语言和 10 种语音输出语言:英语、中文、法语、德语、俄语、意大利语、西班牙语、葡萄牙语、日语和韩语。
技术报告(2025 年 9 月 22 日的 arXiv 2509.17765)称,Qwen3-Omni 在 36 个音频和音视频基准中的 32 个达到开源最先进水平,其中 22 个达到整体最先进水平,领先于 Gemini 2.5 Pro、Seed-ASR 和 GPT-4o-Transcribe,并且在文本和图像上与同规模的单模态 Qwen 模型相当。它还给出冷启动下理论端到端首包延迟 234 毫秒。这些都是阿里巴巴自己的结果。阿里巴巴还通过 API 提供 Qwen3-Omni-Flash,这些权重没有公开。
对于只激活 3B 的模型来说,内存需求不低。GitHub README 给出了用 Transformers、BF16 和 FlashAttention 2 的理论最低值:Instruct 在 15 秒视频时为 78.85 GB,120 秒时为 144.81 GB;Thinking 分别为 68.74 GB 和 131.65 GB。如果不需要语音,调用 disable_talker() 可节省约 10 GB,思考者的配置设置了 65,536 个位置。README 称 Transformers 运行 MoE 模型非常慢,建议用 vLLM,但 vLLM serve 目前只支持思考者,所以只返回文本,没有语音。许可证是 Apache 2.0,文本在 GitHub 仓库里,而 Hugging Face 仓库没有许可证文件,并把许可证标注为 other、名称为 apache-2.0。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计 Instruct 约有 40.4 万次下载,Thinking 约 26.1 万次,Captioner 约 6700 次。
适合做什么
- 需要同时理解语音、视频和图像,并用 10 种语言之一大声作答的语音助手
- 超越转写的音频理解,包括音乐、音效和混合音频,Captioner 检查点能给出详细的音频描述
- 语音到语音和语音翻译,以及根据语音指令调用函数的智能体
- 商业产品,因为权重是 Apache 2.0
需要注意
- 要准备 80 GB 级别的 GPU 或几块较小的 GPU,因为模型卡列出的 Instruct BF16 最低值按视频长度约为 79 到 145 GB
- 语音输出只来自 Instruct 检查点,而 vLLM serve 只覆盖思考者,所以要输出语音就得用 Transformers,README 称它运行 MoE 模型非常慢
- 该模型发布于 2025 年 9 月,请在你自己的音频上与 MiniCPM-o 4.5 和 Nemotron 3 Nano Omni 等较新的全模态模型对比
- 基准结论来自阿里巴巴,模型卡里的一些列是权重未公开的 Flash API 模型
- Hugging Face 的许可证元数据和缺失的许可证文件与 GitHub 上的 Apache 2.0 文本不一致,所以请把 GitHub 的许可证随你的副本一起保存
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Captioner (audio descriptions) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Thinking (thinker only) BF16 | 31.7B 激活 3B | 73 GB | 36 GB | 69 GB | 工作站 |
| Captioner (audio descriptions) BF16 | 31.7B 激活 3B | 73 GB | 36 GB | 22 GB | 游戏显卡 |
| Instruct (thinker and talker) BF16 | 35.3B 激活 3B | 81 GB | 41 GB | 79 GB | 工作站 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 69 GB。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- Qwen3-Omni 是什么?
- Qwen3-Omni 能听语音、看视频、看图像、读文字,还能实时大声回答,而不只是写出来。它每个 token 只激活 30B 参数中的约 3B,但仍然需要 80 GB 级别的 GPU。它采用 Apache 2.0 发布。
- Qwen3-Omni 可以商用吗?
- 可以。Qwen3-Omni 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Qwen3-Omni 是开源的吗?
- Qwen3-Omni 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Qwen3-Omni 吗?
- 可以,但需要一块好显卡。最小版本 Captioner (audio descriptions) 在 4 位精度下约需 22 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
- Qwen3-Omni 是什么时候发布的?
- Qwen3-Omni 由 Alibaba Qwen 于 2025年9月22日 发布。
- Qwen3-Omni 的上下文窗口有多长?
- Qwen3-Omni 支持最长 64K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Qwen3-Omni-30B-A3B-Instruct model card (Hugging Face) huggingface.co
- Qwen3-Omni repository and README (GitHub) github.com
- Qwen3-Omni Technical Report (arXiv 2509.17765) arxiv.org
- Qwen3-Omni-30B-A3B-Thinking model card (Hugging Face) huggingface.co
- Qwen3-Omni-30B-A3B-Captioner model card (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| MiniCPM-o 4.5 OpenBMB | 9.37B | 40K | Apache 2.0 (宽松) | 11 GB 笔记本或手机 | |
| Nemotron 3 Nano Omni NVIDIA | 31B 激活 3B | 256K | NVIDIA Open Model (宽松) | 32 GB 游戏显卡 | |
| Qwen3-ASR Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (宽松) | 2.12 GB 笔记本或手机 | |
| Qwen3-TTS Alibaba Qwen | 910M – 1.92B | – | Apache 2.0 (宽松) | 3.68 GB 笔记本或手机 |