会“听”的开放模型:九个能接收音频,只有三个能用语音回答
对比 Gemma 4、Apertus 1.5、Inkling、MiMo-V2.6、Muse Spark Open、Nemotron 3 Nano Omni、Qwen3-Omni、MiniCPM-o 4.5 和 LFM3-Omni 的音频输入、语音输出、规模和许可证。
我们目录里已有九个开放权重的语言模型,除了文本和图像,还能接收音频。其中只有 Qwen3-Omni、MiniCPM-o 4.5 和 LFM3-Omni-2B 能用语音回答。其余六个只输出文本,规模从 8B 到约一万亿参数不等。所以“会听”在不同的模型卡里意思差别很大。
九个模型一览
| 模型 | 支持音频的规格 | 语音输出 | 上下文 | 许可证 |
|---|---|---|---|---|
| LFM3-Omni-2B(Liquid AI) | 2.17B,BF16 下 4 GB | 有 | 32K | LFM Open License,营收低于 1000 万美元免费 |
| Gemma 4(Google) | E2B、E4B 和 12B | 无 | E2B 和 E4B 为 128K,更大的为 256K | Apache 2.0 |
| Qwen3-Omni(阿里巴巴) | 30B,激活 3B | 有,10 种语言 | 配置中为 65536 个位置 | Apache 2.0 |
| MiniCPM-o 4.5(OpenBMB) | 9.37B | 有,中英文 | 配置中为 40960 个位置 | Apache 2.0 |
| Nemotron 3 Nano Omni(NVIDIA) | 31B,激活 3B | 无 | 256K | NVIDIA Open Model Agreement |
| Apertus 1.5(Swiss AI) | 8B 和 70B | 无 | 262K | Apache 2.0 |
| MiMo-V2.6(小米) | Flash 310B,Pro 1.02T | 无 | 1M | 标注为 MIT,没有许可证文件 |
| Muse Spark Open(Meta) | 816B,激活 42B | 无 | 1M | Muse Model License |
| Inkling(Thinking Machines) | 975B 和 Inkling-Small 276B | 无 | 最高 1M | Apache 2.0 |
听懂不等于转写
各家模型卡对音频的限制并不一样。Inkling 接受最长约 20 分钟的 WAV 文件,NVIDIA 的模型接受最长 1 小时的音频,只支持英语,并带有词级时间戳。Gemma 4 只有三个较小的模型支持音频,26B 和 31B 只接收文本和图像。Apertus 把自己的音频理解称为实验性的,它的报告称,在英语和其他高资源语言上,专门的语音模型仍然领先。
如果只是单纯转写,专门的模型仍然更稳妥。我们的语音转文字指南和语音识别榜单介绍了这些模型。
只有三个会开口说话
Qwen3-Omni 能用 10 种语言说话,但只有它的 Instruct 检查点带有表达者,而阿里巴巴推荐的 vLLM serve 路线只返回文本。MiniCPM-o 4.5 能用中文和英文同时听和说,还能在看视频流时自己开口评论。LFM3-Omni-2B 能用文本或语音回答,4 GB 就能装下,但上下文只有 32K。对其他所有模型来说,语音回复需要另外配一个文字转语音模型,Thinking Machines 对 Inkling 就明确这样说。文字转语音指南列出了可选方案,克隆真人的声音需要说话人的同意。
硬件需求跨越两个数量级
- 手机或笔记本: LFM3-Omni-2B,以及 Gemma 4 的 E2B 和 E4B。
- 一块 GPU: MiniCPM-o 4.5(OpenBMB 列出 BF16 下 19.0 GB,int4 下 11.0 GB)、Gemma 4 12B、18.4 GB 的 Apertus 1.5 8B,以及 Nemotron 3 Nano Omni(NVIDIA 列出 NVFP4 用 32 GB 的 RTX 5090,FP8 用 48 GB 的 L40S,BF16 用 80 GB 的 H100)。
- 80 GB 或更大的 GPU: Qwen3-Omni,README 给出的 BF16 理论最低值是 15 秒视频 78.85 GB,120 秒视频 144.81 GB。
- 服务器: 144.6 GB 的 Apertus 1.5 70B,178 GB 的 MiMo-V2.6 Flash,即便是 NVFP4 也有 533 GB 的 Muse Spark Open,573 GB 的 MiMo-V2.6 Pro,以及 NVFP4 下 594 GB 的 Inkling。Inkling-Small 更实用,NVFP4 下为 171 GB。
许可证的差别比规模更大
Gemma 4、Apertus 1.5、Inkling、Qwen3-Omni 和 MiniCPM-o 4.5 采用 Apache 2.0。NVIDIA 的协议允许商用。Liquid 的许可证在年营收达到 1000 万美元后不再免费。Meta 的 Muse Model License 要求标示“Built with Muse Spark Open”,并且在营收超过 2000 万美元时,托管服务需要另行签订协议。MiMo-V2.6 在 Hugging Face 上标注为 MIT,但截至 2026 年 11 月 8 日它的仓库里没有许可证文件,所以请让小米以书面形式确认条款。AI 许可证详解讲解了通用规则。
怎么选
- 看着摄像头的语音助手: MiniCPM-o 4.5。只有在 4 GB 比上下文更重要、并且营收上限对你不适用时,才选 LFM3-Omni-2B。
- 用 10 种语言语音回答,并且有 80 GB 的 GPU: Qwen3-Omni,它已经发布一年多,所以请在你自己的音频上与较新的模型对比测试。
- 把很长的英语录音或视频转成文本或 JSON: Nemotron 3 Nano Omni。
- 手机和小型设备: Gemma 4 E2B 或 E4B。
- 要最强的开放权重,并且有集群来运行: MiMo-V2.6、Muse Spark Open 或 Inkling。Thinking Machines 明确说,Inkling 是用于定制的基础模型,不是整体最强的模型。
- 从数据准备到训练代码全部公开的模型: Apertus 1.5,音频部分是实验性的。
需要记住的几点
这些模型卡里的每一张基准表都来自开发方,各卡的对手也不一样,所以我们不按分数给这九个模型排名。这份清单只覆盖我们目录里的模型,不是所有的开放全模态模型。在做决定之前,请先用你自己的几段录音测试。
来源
- Google 博客:Gemma 4, byte for byte the most capable open models(2026 年 4 月 2 日) blog.google
- Apertus 1.5(Apertus 项目,2026 年 7 月) apertus-ai.org
- Inkling 模型卡(Thinking Machines Lab) thinkingmachines.ai
- 小米:Introducing the MiMo-V2.6 series mimo.xiaomi.com
- Introducing Muse Spark Open(Meta AI Research,2026 年 10 月 15 日) research.meta.ai
- Nemotron-3-Nano-Omni-30B-A3B-Reasoning 模型卡(Hugging Face) huggingface.co
- Qwen3-Omni Technical Report(arXiv 2509.17765) arxiv.org
- MiniCPM-o 4.5 模型卡(Hugging Face) huggingface.co
- Liquid AI:Introducing LFM3, Every Modality for Specialized Intelligence(2026 年 10 月 27 日) liquid.ai
本文涉及的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| Apertus 1.5 Swiss AI Initiative | 8B – 70B | 256K | Apache 2.0 (宽松) | 5.52 GB 笔记本或手机 | |
| Inkling Thinking Machines Lab | 276B – 975B 激活 41B | 1M | Apache 2.0 (宽松) | 188 GB 大内存台式机 | |
| MiMo-V2.6 Xiaomi | 9.4B – 1.02T 激活 42B | 1M | MIT (宽松) | 6.49 GB 笔记本或手机 | |
| Muse Spark Open Meta | 816B 激活 42B | 1M | Muse Model License (附条件) | 563 GB GPU 服务器 | |
| Nemotron 3 Nano Omni NVIDIA | 31B 激活 3B | 256K | NVIDIA Open Model (宽松) | 32 GB 游戏显卡 | |
| Qwen3-Omni Alibaba Qwen | 31.7B – 35.3B 激活 3B | 64K | Apache 2.0 (宽松) | 22 GB 游戏显卡 | |
| MiniCPM-o 4.5 OpenBMB | 9.37B | 40K | Apache 2.0 (宽松) | 11 GB 笔记本或手机 | |
| LFM3 Liquid AI | 1.73B – 2.17B | 256K | LFM Open 1.0 (附条件) | 1.19 GB 笔记本或手机 |