MiniCPM-o 4.5
OpenBMB 的 9B 模型,同时能看、能听、能说,支持全双工实时流、中英文语音,采用 Apache 2.0。
一句话概括. MiniCPM-o 4.5 是一个可以边看摄像头画面边和你对话的 AI 模型。它同时听和说,不用轮流,还能主动开口,比如提醒你它看到的某件事。量化后可以在 12 GB 的 GPU 或较新的 Mac 上运行。
概述
MiniCPM-o 4.5 是 OpenBMB 的全模态模型,能同时看、听、说。它是端到端构建的,由 SigLIP2 视觉编码器、Whisper-medium 音频模块、CosyVoice2 语音输出和 Qwen3-8B 语言模型组成,共 93.7 亿参数。它能读取最高 180 万像素的图像、最高 10 帧每秒的视频和音频,并用文本和语音作答。模型卡介绍了中英文实时对话和可配置的声音、凭一小段参考音频做声音克隆和角色扮演、30 多种语言的支持,以及同一个模型里的 instruct 和 thinking 两种模式。它最突出的功能是全双工实时流:它在输出文本和语音的同时持续接收视频和音频,并且每秒判断一次要不要开口,所以能自己发起提醒或评论。技术报告是 2026 年 4 月 30 日的 arXiv 2604.27393,把这套流式框架命名为 Omni-Flow。
OpenBMB 报告 OpenCompass 平均分 77.6,称高于 GPT-4o 和 Gemini 2.0 Pro,接近 Gemini 2.5 Flash。它还称在 OmniDocBench 上的端到端英文文档解析达到最先进水平,领先 Gemini 3 Flash、GPT-5 和 DeepSeek-OCR 2。这些都是开发方自己的数字,模型卡也标出了哪些对手的分数来自它自己的测试。模型卡的效率表列出 BF16 下每秒 154.3 个 token、占用 19.0 GB 显存,int4 下每秒 212.3 个 token、占用 11.0 GB,同一张表里 Qwen3-Omni-30B-A3B 在 int4 下占用 20.3 GB,在 BF16 下在其测试环境中显存不足。
权重和代码都采用 Apache 2.0。BF16 检查点为 18.8 GB,AWQ int4 版本为 8.5 GB,GGUF 语言模型文件从 Q4_K_M 的约 5 GB 到 F16 的 16.4 GB,视觉、音频和语音部分放在单独的文件夹里。模型卡推荐在 NVIDIA GPU 上用 PyTorch 和 transformers 4.51.0,它的全双工网页演示至少需要 28 GB 显存的 GPU。对于 llama.cpp-omni,它列出的要求是:半双工语音对话需要 16 GB 内存的 Apple M3、M4 或 M5,或 12 GB 显存的 NVIDIA GPU;全双工流式需要 24 GB 内存的 M4 Max,或 12 GB 显存的 GPU。vLLM、SGLang 和 Ollama 也在支持之列。配置里设置了 40,960 个位置。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计主仓库约有 16.5 万次下载,GGUF 仓库约有 11.8 万次,该仓库最早于 2026 年 2 月 3 日出现在 Hugging Face。
适合做什么
- 本地助手:看着摄像头或屏幕,用中文或英文实时对话
- 需要自定义声音或角色扮演的语音助手,前提是允许克隆声音并已获得同意
- 在一张 12 到 24 GB 的 GPU 或较新的 Mac 上读取照片、文档和视频
- 商业产品,因为权重和代码都是 Apache 2.0
需要注意
- 模型卡只介绍了中文和英文的语音对话,它所说的 30 多种语言并不专指语音
- OpenCompass、OmniDocBench 和速度对比都是 OpenBMB 自己的,部分对手是在它自己的环境里运行的
- 全双工演示需要 28 GB 显存的 NVIDIA GPU,模型卡把 transformers 固定在 4.51.0,量化版本可能损失一些精度
- 模型卡介绍了凭参考音频克隆声音,但没有提到水印,所以同意和标注由你负责
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 9B AWQ (int4) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| 9B (BF16) BF16 | 9.37B | 22 GB | 11 GB | 19 GB | 游戏显卡 |
| 9B AWQ (int4) INT4 | 9.37B | 22 GB | 11 GB | 11 GB | 笔记本或手机 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 11 GB。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
- Nemotron 3 Nano Omni 与 MiniCPM-o 4.5 对比:该选哪个开源全模态模型?
- 2026 年最佳开源多模态模型(图像、视频和音频)
- 笔记本就能运行的最佳小型开源模型
- 会“听”的开放模型:九个能接收音频,只有三个能用语音回答
常见问题
- MiniCPM-o 4.5 是什么?
- MiniCPM-o 4.5 是一个可以边看摄像头画面边和你对话的 AI 模型。它同时听和说,不用轮流,还能主动开口,比如提醒你它看到的某件事。量化后可以在 12 GB 的 GPU 或较新的 Mac 上运行。
- MiniCPM-o 4.5 可以商用吗?
- 可以。MiniCPM-o 4.5 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- MiniCPM-o 4.5 是开源的吗?
- MiniCPM-o 4.5 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 MiniCPM-o 4.5 吗?
- 可以。最小版本 9B AWQ (int4) 在 4 位精度下约需 11 GB 内存,现代笔记本或中端显卡即可胜任。
- MiniCPM-o 4.5 是什么时候发布的?
- MiniCPM-o 4.5 由 OpenBMB 于 2026年2月3日 发布。
- MiniCPM-o 4.5 的上下文窗口有多长?
- MiniCPM-o 4.5 支持最长 40K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- MiniCPM-o 4.5 model card (Hugging Face) huggingface.co
- MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction (arXiv 2604.27393) arxiv.org
- MiniCPM-V and MiniCPM-o repository (GitHub) github.com
- MiniCPM-o 4.5 GGUF builds (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| MiniCPM-V 4.7 OpenBMB | 1.55B – 35.2B 激活 3B | 256K | Apache 2.0 (宽松) | 1.07 GB 笔记本或手机 | |
| Nemotron 3 Nano Omni NVIDIA | 31B 激活 3B | 256K | NVIDIA Open Model (宽松) | 32 GB 游戏显卡 | |
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| MiMo-V2.6 Xiaomi | 9.4B – 1.02T 激活 42B | 1M | MIT (宽松) | 6.49 GB 笔记本或手机 |