2026 年最佳开源多模态模型(图像、视频和音频)
本站收录的新一代开放旗舰大多能读图像,不少还能处理视频或音频。这份榜单挑出把多模态作为主要卖点的开放模型,从手机级到服务器级,并标出哪些许可证允许你把它们做进产品。
-
Gemma 4
Google 的 Apache 2.0 模型家族,从手机级的 E2B 到 31B 旗舰。支持文本、图像、视频和音频输入,具备推理和工具调用能力。
-
Qwen3.8-27B
27B 稠密、Apache 2.0 模型,能读图像和视频,会逐步推理,一张 GPU 就能装下。
-
Qwen3.6
阿里巴巴的 Apache 2.0 Qwen3.6 组合:一个 35B 混合专家模型(激活 3B)和一个 27B 稠密模型,都支持图像和视频输入,并针对智能体编程做了调优。
-
Qwen3.5
阿里巴巴的 Apache 2.0 模型家族,从 0.8B 到 397B,支持图像和视频输入,覆盖 201 种语言,上下文 256K。
-
MiniCPM-V 4.7
OpenBMB 的 Apache 2.0 手机友好模型:一个 35B-A3B 混合专家模型和一个 1B 模型,都支持图像和视频。
-
MiniCPM-o 4.5
OpenBMB 的 9B、Apache 2.0 模型,能同时看、听、说。它实时接收视频和音频,同时用文本以及中英文语音作答,OpenBMB 列出 int4 下占用 11 GB 显存。
-
Mage-VL
微软的 4B、Apache 2.0 视觉语言模型,像编解码器那样读视频,视觉 token 减少 75% 以上,并带有用于直播流的触发门。微软的表格显示它在多数视频和空间测试上领先于 Qwen3-VL-4B。
-
LocateAnything-3B
NVIDIA 的 3B 模型,用框和点回答物体、GUI 元素和文字的位置,按 NVIDIA 的测量在 H100 上每秒 12.7 个框。许可证仅限研究。
-
Ternary Bonsai 2
PrismML 使用三值权重的视觉语言模型,从 0.43 GB 的 2B 模型到 5.95 GB 的 27B 级模型,采用 Apache 2.0。支持图像和文本输入。
-
SenseNova-Loop-9B-Preview
商汤的 9B 循环视觉语言预览版,采用 Apache 2.0:第 4 到 27 层各运行两次,支持文本和图像输入,上下文 256K。它需要自定义代码,公布的分数与 Qwen3.5-27B 互有胜负。
-
Muse Glimmer
Meta 的 30B 稠密多模态模型,面向本地智能体,从 Muse Spark 蒸馏而来,采用 Apache 2.0,量化后能装进 24 GB 显存的 GPU。
-
GLM-5.3-Flash
MIT 许可证的多模态 GLM:总参数 320B、激活 18B,支持图像和视频输入,上下文 1M,为低成本长上下文服务而设计。
-
Step 3.7 Flash
阶跃星辰采用 Apache 2.0 的 198B 视觉语言混合专家模型,激活 11B 参数,上下文 256K,带 1.8B 的视觉编码器。它面向会读截图、图表和文档的智能体,111.5 GB 的 GGUF 装得进 128 GB 内存的 Mac 或迷你主机。
-
Step 5 Preview
阶跃星辰的 600B 混合专家模型,上下文 1M,支持图像输入,面向分析长报告、图表和截图的智能体。模型卡还提到视频,但规格表只列了文字和图像;自定义许可证对硬件和托管有条款。
-
MiMo-V2.6
小米的全模态智能体模型:1T 的 Pro、310B 的 Flash 和 9B 的研究检查点,上下文 1M。许可证标注为 MIT。
-
Nemotron 3 Nano Omni
NVIDIA 的 31B 混合专家模型,激活 3B,支持视频、音频、图像和文本输入,上下文 256K。只支持英语,只输出文本,NVFP4 版本在一块 32 GB 的 RTX 5090 上就能运行。
-
Qwen3-Omni
阿里巴巴的 30B 混合专家模型,激活 3B,能读文本、图像、音频和视频,并用 10 种语言以文本或语音作答。Apache 2.0,但阿里巴巴列出的 BF16 需求在 15 秒片段时约为 79 GB。
-
Muse Spark Open
Meta 的 816B 混合专家模型,激活 42B,上下文 1M,支持文本、图像、视频和音频输入。它使用 Meta 自己的 Muse 许可证,商用前请先读完。
-
Apertus 1.5
瑞士 AI 完全开放的 8B 和 70B 模型,采用 Apache 2.0,除文本外还能读图像和音频,上下文 262K。它们只输出文本,音频理解还处于实验阶段。
-
LongCat-2.5 最新
美团的 MIT 许可证 1.6T 混合专家模型,激活参数 48B,支持文本、图像和视频输入,上下文 1M token。部署文档只覆盖 NPU 服务器。
-
LFM3
Liquid AI 的模型家族,有一个 1.7B、256K 上下文、1 GB 就能装下的文本模型,另有视觉、音频和全模态版本。LFM Open License 只允许年收入低于 1000 万美元的公司商用。
-
Mirage
Cactus Compute 的 5100 万参数 Apache 2.0 视觉模型,文件只有 22 MB:描述照片、找出物体、读取文字、填写表单,在 Galaxy S26 的 NPU 上耗时 74 毫秒。它不是聊天模型,发布文章里也没有标准的准确率基准。
我们如何筛选
- 接受图像、视频或音频输入,并且现在就能下载开放权重的模型。
- 只收录当前版本,被新一代取代的模型(例如 Qwen3-VL)不在其中。
- 视觉基准分数由开发者自己公布,所以我们不按它们排名。请用你自己的图片测试,因为截图、图表和手写体的表现与照片差别很大。
- 标出上下文长度和许可证,因为它们限制你能发布什么。