会“听”的开放模型:九个能接收音频,只有三个能用语音回答

对比 Gemma 4、Apertus 1.5、Inkling、MiMo-V2.6、Muse Spark Open、Nemotron 3 Nano Omni、Qwen3-Omni、MiniCPM-o 4.5 和 LFM3-Omni 的音频输入、语音输出、规模和许可证。

  • 分析
  • 阅读约 6 分钟
  • 发布于

我们目录里已有九个开放权重的语言模型,除了文本和图像,还能接收音频。其中只有 Qwen3-Omni、MiniCPM-o 4.5 和 LFM3-Omni-2B 能用语音回答。其余六个只输出文本,规模从 8B 到约一万亿参数不等。所以“会听”在不同的模型卡里意思差别很大。

九个模型一览

模型 支持音频的规格 语音输出 上下文 许可证
LFM3-Omni-2B(Liquid AI) 2.17B,BF16 下 4 GB 有 32K LFM Open License,营收低于 1000 万美元免费
Gemma 4(Google) E2B、E4B 和 12B 无 E2B 和 E4B 为 128K,更大的为 256K Apache 2.0
Qwen3-Omni(阿里巴巴) 30B,激活 3B 有,10 种语言 配置中为 65536 个位置 Apache 2.0
MiniCPM-o 4.5(OpenBMB) 9.37B 有,中英文 配置中为 40960 个位置 Apache 2.0
Nemotron 3 Nano Omni(NVIDIA) 31B,激活 3B 无 256K NVIDIA Open Model Agreement
Apertus 1.5(Swiss AI) 8B 和 70B 无 262K Apache 2.0
MiMo-V2.6(小米) Flash 310B,Pro 1.02T 无 1M 标注为 MIT,没有许可证文件
Muse Spark Open(Meta) 816B,激活 42B 无 1M Muse Model License
Inkling(Thinking Machines) 975B 和 Inkling-Small 276B 无 最高 1M Apache 2.0

听懂不等于转写

各家模型卡对音频的限制并不一样。Inkling 接受最长约 20 分钟的 WAV 文件,NVIDIA 的模型接受最长 1 小时的音频,只支持英语,并带有词级时间戳。Gemma 4 只有三个较小的模型支持音频,26B 和 31B 只接收文本和图像。Apertus 把自己的音频理解称为实验性的,它的报告称,在英语和其他高资源语言上,专门的语音模型仍然领先。

如果只是单纯转写,专门的模型仍然更稳妥。我们的语音转文字指南和语音识别榜单介绍了这些模型。

只有三个会开口说话

Qwen3-Omni 能用 10 种语言说话,但只有它的 Instruct 检查点带有表达者,而阿里巴巴推荐的 vLLM serve 路线只返回文本。MiniCPM-o 4.5 能用中文和英文同时听和说,还能在看视频流时自己开口评论。LFM3-Omni-2B 能用文本或语音回答,4 GB 就能装下,但上下文只有 32K。对其他所有模型来说,语音回复需要另外配一个文字转语音模型,Thinking Machines 对 Inkling 就明确这样说。文字转语音指南列出了可选方案,克隆真人的声音需要说话人的同意。

硬件需求跨越两个数量级

  • 手机或笔记本: LFM3-Omni-2B,以及 Gemma 4 的 E2B 和 E4B。
  • 一块 GPU: MiniCPM-o 4.5(OpenBMB 列出 BF16 下 19.0 GB,int4 下 11.0 GB)、Gemma 4 12B、18.4 GB 的 Apertus 1.5 8B,以及 Nemotron 3 Nano Omni(NVIDIA 列出 NVFP4 用 32 GB 的 RTX 5090,FP8 用 48 GB 的 L40S,BF16 用 80 GB 的 H100)。
  • 80 GB 或更大的 GPU: Qwen3-Omni,README 给出的 BF16 理论最低值是 15 秒视频 78.85 GB,120 秒视频 144.81 GB。
  • 服务器: 144.6 GB 的 Apertus 1.5 70B,178 GB 的 MiMo-V2.6 Flash,即便是 NVFP4 也有 533 GB 的 Muse Spark Open,573 GB 的 MiMo-V2.6 Pro,以及 NVFP4 下 594 GB 的 Inkling。Inkling-Small 更实用,NVFP4 下为 171 GB。

许可证的差别比规模更大

Gemma 4、Apertus 1.5、Inkling、Qwen3-Omni 和 MiniCPM-o 4.5 采用 Apache 2.0。NVIDIA 的协议允许商用。Liquid 的许可证在年营收达到 1000 万美元后不再免费。Meta 的 Muse Model License 要求标示“Built with Muse Spark Open”,并且在营收超过 2000 万美元时,托管服务需要另行签订协议。MiMo-V2.6 在 Hugging Face 上标注为 MIT,但截至 2026 年 11 月 8 日它的仓库里没有许可证文件,所以请让小米以书面形式确认条款。AI 许可证详解讲解了通用规则。

怎么选

  • 看着摄像头的语音助手: MiniCPM-o 4.5。只有在 4 GB 比上下文更重要、并且营收上限对你不适用时,才选 LFM3-Omni-2B。
  • 用 10 种语言语音回答,并且有 80 GB 的 GPU: Qwen3-Omni,它已经发布一年多,所以请在你自己的音频上与较新的模型对比测试。
  • 把很长的英语录音或视频转成文本或 JSON: Nemotron 3 Nano Omni。
  • 手机和小型设备: Gemma 4 E2B 或 E4B。
  • 要最强的开放权重,并且有集群来运行: MiMo-V2.6、Muse Spark Open 或 Inkling。Thinking Machines 明确说,Inkling 是用于定制的基础模型,不是整体最强的模型。
  • 从数据准备到训练代码全部公开的模型: Apertus 1.5,音频部分是实验性的。

需要记住的几点

这些模型卡里的每一张基准表都来自开发方,各卡的对手也不一样,所以我们不按分数给这九个模型排名。这份清单只覆盖我们目录里的模型,不是所有的开放全模态模型。在做决定之前,请先用你自己的几段录音测试。

来源

本文涉及的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
Apertus 1.5 Swiss AI Initiative 8B – 70B 256K Apache 2.0 (宽松) 5.52 GB 笔记本或手机
Inkling Thinking Machines Lab 276B – 975B 激活 41B 1M Apache 2.0 (宽松) 188 GB 大内存台式机
MiMo-V2.6 Xiaomi 9.4B – 1.02T 激活 42B 1M MIT (宽松) 6.49 GB 笔记本或手机
Muse Spark Open Meta 816B 激活 42B 1M Muse Model License (附条件) 563 GB GPU 服务器
Nemotron 3 Nano Omni NVIDIA 31B 激活 3B 256K NVIDIA Open Model (宽松) 32 GB 游戏显卡
Qwen3-Omni Alibaba Qwen 31.7B – 35.3B 激活 3B 64K Apache 2.0 (宽松) 22 GB 游戏显卡
MiniCPM-o 4.5 OpenBMB 9.37B 40K Apache 2.0 (宽松) 11 GB 笔记本或手机
LFM3 Liquid AI 1.73B – 2.17B 256K LFM Open 1.0 (附条件) 1.19 GB 笔记本或手机