Qwen3-Omni

阿里巴巴的 30B-A3B 全模态模型,能读文本、图像、音频和视频,并用 10 种语言以文本或语音作答。Apache 2.0。

一句话概括. Qwen3-Omni 能听语音、看视频、看图像、读文字,还能实时大声回答,而不只是写出来。它每个 token 只激活 30B 参数中的约 3B,但仍然需要 80 GB 级别的 GPU。它采用 Apache 2.0 发布。

概述

Qwen3-Omni 是阿里巴巴的原生多模态模型,输入文本、图像、音频和视频,用文本或实时语音作答。它采用 Thinker-Talker 设计。一个 30B 的混合专家“思考者”(每个 token 约激活 3B 参数,48 层,128 个专家中激活 8 个)读取所有模态并输出文本,另一个独立的“表达者”通过预测多码本音频编解码器并用轻量的因果 ConvNet 解码,把文本转成语音。Instruct 检查点包含两部分,共 352.6 亿参数,BF16 下 70.5 GB。Thinking 检查点只有思考者,带有思维链推理,输出文本,317.2 亿参数,63.5 GB。Captioner 是一个微调版本,能详细描述任意音频。模型卡列出 119 种文本语言、19 种语音输入语言和 10 种语音输出语言:英语、中文、法语、德语、俄语、意大利语、西班牙语、葡萄牙语、日语和韩语。

技术报告(2025 年 9 月 22 日的 arXiv 2509.17765)称,Qwen3-Omni 在 36 个音频和音视频基准中的 32 个达到开源最先进水平,其中 22 个达到整体最先进水平,领先于 Gemini 2.5 Pro、Seed-ASR 和 GPT-4o-Transcribe,并且在文本和图像上与同规模的单模态 Qwen 模型相当。它还给出冷启动下理论端到端首包延迟 234 毫秒。这些都是阿里巴巴自己的结果。阿里巴巴还通过 API 提供 Qwen3-Omni-Flash,这些权重没有公开。

对于只激活 3B 的模型来说,内存需求不低。GitHub README 给出了用 Transformers、BF16 和 FlashAttention 2 的理论最低值:Instruct 在 15 秒视频时为 78.85 GB,120 秒时为 144.81 GB;Thinking 分别为 68.74 GB 和 131.65 GB。如果不需要语音,调用 disable_talker() 可节省约 10 GB,思考者的配置设置了 65,536 个位置。README 称 Transformers 运行 MoE 模型非常慢,建议用 vLLM,但 vLLM serve 目前只支持思考者,所以只返回文本,没有语音。许可证是 Apache 2.0,文本在 GitHub 仓库里,而 Hugging Face 仓库没有许可证文件,并把许可证标注为 other、名称为 apache-2.0。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计 Instruct 约有 40.4 万次下载,Thinking 约 26.1 万次,Captioner 约 6700 次。

适合做什么

  • 需要同时理解语音、视频和图像,并用 10 种语言之一大声作答的语音助手
  • 超越转写的音频理解,包括音乐、音效和混合音频,Captioner 检查点能给出详细的音频描述
  • 语音到语音和语音翻译,以及根据语音指令调用函数的智能体
  • 商业产品,因为权重是 Apache 2.0

需要注意

  • 要准备 80 GB 级别的 GPU 或几块较小的 GPU,因为模型卡列出的 Instruct BF16 最低值按视频长度约为 79 到 145 GB
  • 语音输出只来自 Instruct 检查点,而 vLLM serve 只覆盖思考者,所以要输出语音就得用 Transformers,README 称它运行 MoE 模型非常慢
  • 该模型发布于 2025 年 9 月,请在你自己的音频上与 MiniCPM-o 4.5 和 Nemotron 3 Nano Omni 等较新的全模态模型对比
  • 基准结论来自阿里巴巴,模型卡里的一些列是权重未公开的 Flash API 模型
  • Hugging Face 的许可证元数据和缺失的许可证文件与 GitHub 上的 Apache 2.0 文本不一致,所以请把 GitHub 的许可证随你的副本一起保存

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 Captioner (audio descriptions) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
Thinking (thinker only) BF16 31.7B 激活 3B 73 GB 36 GB 69 GB 工作站
Captioner (audio descriptions) BF16 31.7B 激活 3B 73 GB 36 GB 22 GB 游戏显卡
Instruct (thinker and talker) BF16 35.3B 激活 3B 81 GB 41 GB 79 GB 工作站

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 69 GB。

显存计算器

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

Qwen3-Omni 是什么?
Qwen3-Omni 能听语音、看视频、看图像、读文字,还能实时大声回答,而不只是写出来。它每个 token 只激活 30B 参数中的约 3B,但仍然需要 80 GB 级别的 GPU。它采用 Apache 2.0 发布。
Qwen3-Omni 可以商用吗?
可以。Qwen3-Omni 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Qwen3-Omni 是开源的吗?
Qwen3-Omni 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 Qwen3-Omni 吗?
可以,但需要一块好显卡。最小版本 Captioner (audio descriptions) 在 4 位精度下约需 22 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
Qwen3-Omni 是什么时候发布的?
Qwen3-Omni 由 Alibaba Qwen 于 2025年9月22日 发布。
Qwen3-Omni 的上下文窗口有多长?
Qwen3-Omni 支持最长 64K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
MiniCPM-o 4.5 OpenBMB 9.37B 40K Apache 2.0 (宽松) 11 GB 笔记本或手机
Nemotron 3 Nano Omni NVIDIA 31B 激活 3B 256K NVIDIA Open Model (宽松) 32 GB 游戏显卡
Qwen3-ASR Alibaba Qwen 918M – 2.35B – Apache 2.0 (宽松) 2.12 GB 笔记本或手机
Qwen3-TTS Alibaba Qwen 910M – 1.92B – Apache 2.0 (宽松) 3.68 GB 笔记本或手机