2026 年最佳开源多模态模型(图像、视频和音频)

本站收录的新一代开放旗舰大多能读图像,不少还能处理视频或音频。这份榜单挑出把多模态作为主要卖点的开放模型,从手机级到服务器级,并标出哪些许可证允许你把它们做进产品。

  • 榜单更新于 2026年11月11日
  1. Gemma 4

    Google 的 Apache 2.0 模型家族,从手机级的 E2B 到 31B 旗舰。支持文本、图像、视频和音频输入,具备推理和工具调用能力。

    • Google DeepMind
    • 30.7B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 3.52 GB 起
  2. Qwen3.8-27B

    27B 稠密、Apache 2.0 模型,能读图像和视频,会逐步推理,一张 GPU 就能装下。

    • Alibaba Qwen
    • 27.8B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 19 GB 起
  3. Qwen3.6

    阿里巴巴的 Apache 2.0 Qwen3.6 组合:一个 35B 混合专家模型(激活 3B)和一个 27B 稠密模型,都支持图像和视频输入,并针对智能体编程做了调优。

    • Alibaba Qwen
    • 36B (激活 3B)
    • 256K token
    • Apache 2.0 (宽松)
    • 约 19 GB 起
  4. Qwen3.5

    阿里巴巴的 Apache 2.0 模型家族,从 0.8B 到 397B,支持图像和视频输入,覆盖 201 种语言,上下文 256K。

    • Alibaba Qwen
    • 403B (激活 17B)
    • 256K token
    • Apache 2.0 (宽松)
    • 约 0.602 GB 起
  5. MiniCPM-V 4.7

    OpenBMB 的 Apache 2.0 手机友好模型:一个 35B-A3B 混合专家模型和一个 1B 模型,都支持图像和视频。

    • OpenBMB
    • 35.2B (激活 3B)
    • 256K token
    • Apache 2.0 (宽松)
    • 约 1.07 GB 起
  6. MiniCPM-o 4.5

    OpenBMB 的 9B、Apache 2.0 模型,能同时看、听、说。它实时接收视频和音频,同时用文本以及中英文语音作答,OpenBMB 列出 int4 下占用 11 GB 显存。

    • OpenBMB
    • 9.37B
    • 40K token
    • Apache 2.0 (宽松)
    • 约 11 GB 起
  7. Mage-VL

    微软的 4B、Apache 2.0 视觉语言模型,像编解码器那样读视频,视觉 token 减少 75% 以上,并带有用于直播流的触发门。微软的表格显示它在多数视频和空间测试上领先于 Qwen3-VL-4B。

    • Microsoft
    • 4.74B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 3.27 GB 起
  8. LocateAnything-3B

    NVIDIA 的 3B 模型,用框和点回答物体、GUI 元素和文字的位置,按 NVIDIA 的测量在 H100 上每秒 12.7 个框。许可证仅限研究。

    • NVIDIA
    • 3.83B
    • NVIDIA Non-Commercial (非商用)
    • 约 2.64 GB 起
  9. Ternary Bonsai 2

    PrismML 使用三值权重的视觉语言模型,从 0.43 GB 的 2B 模型到 5.95 GB 的 27B 级模型,采用 Apache 2.0。支持图像和文本输入。

    • PrismML
    • 27.4B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 0.473 GB 起
  10. SenseNova-Loop-9B-Preview

    商汤的 9B 循环视觉语言预览版,采用 Apache 2.0:第 4 到 27 层各运行两次,支持文本和图像输入,上下文 256K。它需要自定义代码,公布的分数与 Qwen3.5-27B 互有胜负。

    • SenseTime
    • 9.66B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 22 GB 起
  11. Muse Glimmer

    Meta 的 30B 稠密多模态模型,面向本地智能体,从 Muse Spark 蒸馏而来,采用 Apache 2.0,量化后能装进 24 GB 显存的 GPU。

    • Meta
    • 29.6B
    • 128K token
    • Apache 2.0 (宽松)
    • 约 20 GB 起
  12. GLM-5.3-Flash

    MIT 许可证的多模态 GLM:总参数 320B、激活 18B,支持图像和视频输入,上下文 1M,为低成本长上下文服务而设计。

    • Z.ai (Zhipu AI)
    • 320B (激活 18B)
    • 1M token
    • MIT (宽松)
    • 约 221 GB 起
  13. Step 3.7 Flash

    阶跃星辰采用 Apache 2.0 的 198B 视觉语言混合专家模型,激活 11B 参数,上下文 256K,带 1.8B 的视觉编码器。它面向会读截图、图表和文档的智能体,111.5 GB 的 GGUF 装得进 128 GB 内存的 Mac 或迷你主机。

    • StepFun
    • 201B (激活 11B)
    • 256K token
    • Apache 2.0 (宽松)
    • 约 120 GB 起
  14. Step 5 Preview

    阶跃星辰的 600B 混合专家模型,上下文 1M,支持图像输入,面向分析长报告、图表和截图的智能体。模型卡还提到视频,但规格表只列了文字和图像;自定义许可证对硬件和托管有条款。

    • StepFun
    • 604B (激活 27B)
    • 1M token
    • StepFun 1.0 (附条件)
    • 约 417 GB 起
  15. MiMo-V2.6

    小米的全模态智能体模型:1T 的 Pro、310B 的 Flash 和 9B 的研究检查点,上下文 1M。许可证标注为 MIT。

    • Xiaomi
    • 1.02T (激活 42B)
    • 1M token
    • MIT (宽松)
    • 约 6.49 GB 起
  16. Nemotron 3 Nano Omni

    NVIDIA 的 31B 混合专家模型,激活 3B,支持视频、音频、图像和文本输入,上下文 256K。只支持英语,只输出文本,NVFP4 版本在一块 32 GB 的 RTX 5090 上就能运行。

    • NVIDIA
    • 31B (激活 3B)
    • 256K token
    • NVIDIA Open Model (宽松)
    • 约 32 GB 起
  17. Qwen3-Omni

    阿里巴巴的 30B 混合专家模型,激活 3B,能读文本、图像、音频和视频,并用 10 种语言以文本或语音作答。Apache 2.0,但阿里巴巴列出的 BF16 需求在 15 秒片段时约为 79 GB。

    • Alibaba Qwen
    • 35.3B (激活 3B)
    • 64K token
    • Apache 2.0 (宽松)
    • 约 22 GB 起
  18. Muse Spark Open

    Meta 的 816B 混合专家模型,激活 42B,上下文 1M,支持文本、图像、视频和音频输入。它使用 Meta 自己的 Muse 许可证,商用前请先读完。

    • Meta
    • 816B (激活 42B)
    • 1M token
    • Muse Model License (附条件)
    • 约 563 GB 起
  19. Apertus 1.5

    瑞士 AI 完全开放的 8B 和 70B 模型,采用 Apache 2.0,除文本外还能读图像和音频,上下文 262K。它们只输出文本,音频理解还处于实验阶段。

    • Swiss AI Initiative
    • 70B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 5.52 GB 起
  20. LongCat-2.5 最新

    美团的 MIT 许可证 1.6T 混合专家模型,激活参数 48B,支持文本、图像和视频输入,上下文 1M token。部署文档只覆盖 NPU 服务器。

    • Meituan
    • 1.6T (激活 48B)
    • 1M token
    • MIT (宽松)
    • 约 1.1 TB 起
  21. LFM3

    Liquid AI 的模型家族,有一个 1.7B、256K 上下文、1 GB 就能装下的文本模型,另有视觉、音频和全模态版本。LFM Open License 只允许年收入低于 1000 万美元的公司商用。

    • Liquid AI
    • 2.17B
    • 256K token
    • LFM Open 1.0 (附条件)
    • 约 1.19 GB 起
  22. Mirage

    Cactus Compute 的 5100 万参数 Apache 2.0 视觉模型,文件只有 22 MB:描述照片、找出物体、读取文字、填写表单,在 Galaxy S26 的 NPU 上耗时 74 毫秒。它不是聊天模型,发布文章里也没有标准的准确率基准。

    • Cactus Compute
    • 51M
    • Apache 2.0 (宽松)
    • 约 0.0354 GB 起

我们如何筛选

  • 接受图像、视频或音频输入,并且现在就能下载开放权重的模型。
  • 只收录当前版本,被新一代取代的模型(例如 Qwen3-VL)不在其中。
  • 视觉基准分数由开发者自己公布,所以我们不按它们排名。请用你自己的图片测试,因为截图、图表和手写体的表现与照片差别很大。
  • 标出上下文长度和许可证,因为它们限制你能发布什么。