Mage-VL
微软的 4B 视觉语言模型,像视频编解码器那样读视频,视觉 token 减少 75% 以上,还带有直播流触发门。
一句话概括. Mage-VL 是微软的一个小模型,能理解图片、长视频和直播流。它不会逐帧细看,而是只在画面有变化的地方仔细看,所以处理视频便宜得多。采用 Apache 2.0,可免费商用。
概述
Mage-VL 是微软 Mage 团队的 40 亿参数视觉语言模型,于 2026 年 7 月 25 日以 Apache 2.0 许可证发布在 Hugging Face。同一套权重可以处理图片、视频和直播流,还带有一个小小的“认知门”,用来判断一段直播流何时值得评论。
它没有把均匀采样的帧喂给预训练的图像编码器,而是像视频编解码器那样处理视频:把视频流分成锚点帧和预测帧,保留锚点帧的全部图块,对预测帧只保留出现运动或新细节的图块。微软称,在精度相当时,这能让视觉 token 减少 75% 以上,推理速度比均匀采样帧最多快 3.5 倍。视觉编码器 Mage-ViT 在约 1 亿张无标注图片和视频帧上从零训练,并且单独发布(约 0.3B 参数,MIT 许可证)。语言部分是 Qwen3-4B-Instruct-2507,配置允许 262,144 个位置。直播流触发门在约 330 万条流式样本上训练,模型其余部分保持冻结。仓库还打包了一个神经视频编解码器,使模型能读取基于编解码器的视频。
微软的表格把它与使用同一语言骨干的 Qwen3-VL-4B 做了比较。Mage-VL 在多数视频和空间测试上领先,比如 VideoMME 64.0 对 59.7,VideoEval-Pro 45.2 对 20.7,VSI-Bench 64.3 对 53.3,在文档和通用图像测试上大致持平(DocVQA 95.14 对 94.69)。Qwen3-VL-4B 在少数测试上领先,比如 MV-Bench(66.7 对 65.1)、TextVQA(80.55 对 77.28)和 CC-OCR Doc。在在线视频理解测试 OVO-Bench 上,微软报告总分 64.00,是表中流式模型里最好的,离线的 Qwen3-VL-4B 为 63.00。这些都是开发者的数字。模型卡提供了图片、帧采样视频、H.264 和 HEVC 视频、神经编解码视频和事件触发流式评论的脚本,并指向一个用于在线服务的 SGLang 分支。
适合做什么
- 视频理解,以及在片段里找出某件事发生的时间,token 成本比帧采样更低
- 直播流监控或评论,门控会在常规内容上保持沉默
- 在一块消费级 GPU 就能装下的模型里做视频和图像的空间推理
- 码流原生视觉编码器的研究,因为 Mage-ViT 单独发布
需要注意
- 需要自定义代码、Transformers 5.7 或更新版本,读取基于编解码器的视频还需要 ffmpeg
- 在读图中文字方面,它在 TextVQA 和 CC-OCR Doc 上落后于 Qwen3-VL-4B
- 基准数字和流式评测协议都是微软自己的
- 触发门在足球转播上测试过,其他类型的直播流上效果尚未验证
- Hugging Face 仓库顶层没有 LICENSE 文件,只有模型卡里的 Apache 2.0 声明,打包的编解码器代码另有 MIT 许可证
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Mage-VL (4B) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Mage-VL (4B) BF16 | 4.74B | 11 GB | 5.45 GB | 3.27 GB | 笔记本或手机 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- Mage-VL 是什么?
- Mage-VL 是微软的一个小模型,能理解图片、长视频和直播流。它不会逐帧细看,而是只在画面有变化的地方仔细看,所以处理视频便宜得多。采用 Apache 2.0,可免费商用。
- Mage-VL 可以商用吗?
- 可以。Mage-VL 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Mage-VL 是开源的吗?
- Mage-VL 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Mage-VL 吗?
- 可以。最小版本 Mage-VL (4B) 在 4 位精度下约需 3.27 GB 内存,现代笔记本或中端显卡即可胜任。
- Mage-VL 是什么时候发布的?
- Mage-VL 由 Microsoft 于 2026年7月25日 发布。
- Mage-VL 的上下文窗口有多长?
- Mage-VL 支持最长 256K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Mage-VL model card (Hugging Face) huggingface.co
- Mage repository (GitHub) github.com
- Mage-VL technical report (PDF, GitHub) github.com
- Mage-ViT model card (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Mage-VL-Cowork Microsoft | 4.74B | 32K | Apache 2.0 (宽松) | 3.27 GB 笔记本或手机 | |
| MiniCPM-V 4.7 OpenBMB | 1.55B – 35.2B 激活 3B | 256K | Apache 2.0 (宽松) | 1.07 GB 笔记本或手机 | |
| Qwen3-VL Alibaba Qwen | 2.13B – 236B 激活 22B | 256K | Apache 2.0 (宽松) | 1.47 GB 笔记本或手机 | |
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 |