MiniCPM-o 4.5

OpenBMB 的 9B 模型,同时能看、能听、能说,支持全双工实时流、中英文语音,采用 Apache 2.0。

一句话概括. MiniCPM-o 4.5 是一个可以边看摄像头画面边和你对话的 AI 模型。它同时听和说,不用轮流,还能主动开口,比如提醒你它看到的某件事。量化后可以在 12 GB 的 GPU 或较新的 Mac 上运行。

概述

MiniCPM-o 4.5 是 OpenBMB 的全模态模型,能同时看、听、说。它是端到端构建的,由 SigLIP2 视觉编码器、Whisper-medium 音频模块、CosyVoice2 语音输出和 Qwen3-8B 语言模型组成,共 93.7 亿参数。它能读取最高 180 万像素的图像、最高 10 帧每秒的视频和音频,并用文本和语音作答。模型卡介绍了中英文实时对话和可配置的声音、凭一小段参考音频做声音克隆和角色扮演、30 多种语言的支持,以及同一个模型里的 instruct 和 thinking 两种模式。它最突出的功能是全双工实时流:它在输出文本和语音的同时持续接收视频和音频,并且每秒判断一次要不要开口,所以能自己发起提醒或评论。技术报告是 2026 年 4 月 30 日的 arXiv 2604.27393,把这套流式框架命名为 Omni-Flow。

OpenBMB 报告 OpenCompass 平均分 77.6,称高于 GPT-4o 和 Gemini 2.0 Pro,接近 Gemini 2.5 Flash。它还称在 OmniDocBench 上的端到端英文文档解析达到最先进水平,领先 Gemini 3 Flash、GPT-5 和 DeepSeek-OCR 2。这些都是开发方自己的数字,模型卡也标出了哪些对手的分数来自它自己的测试。模型卡的效率表列出 BF16 下每秒 154.3 个 token、占用 19.0 GB 显存,int4 下每秒 212.3 个 token、占用 11.0 GB,同一张表里 Qwen3-Omni-30B-A3B 在 int4 下占用 20.3 GB,在 BF16 下在其测试环境中显存不足。

权重和代码都采用 Apache 2.0。BF16 检查点为 18.8 GB,AWQ int4 版本为 8.5 GB,GGUF 语言模型文件从 Q4_K_M 的约 5 GB 到 F16 的 16.4 GB,视觉、音频和语音部分放在单独的文件夹里。模型卡推荐在 NVIDIA GPU 上用 PyTorch 和 transformers 4.51.0,它的全双工网页演示至少需要 28 GB 显存的 GPU。对于 llama.cpp-omni,它列出的要求是:半双工语音对话需要 16 GB 内存的 Apple M3、M4 或 M5,或 12 GB 显存的 NVIDIA GPU;全双工流式需要 24 GB 内存的 M4 Max,或 12 GB 显存的 GPU。vLLM、SGLang 和 Ollama 也在支持之列。配置里设置了 40,960 个位置。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计主仓库约有 16.5 万次下载,GGUF 仓库约有 11.8 万次,该仓库最早于 2026 年 2 月 3 日出现在 Hugging Face。

适合做什么

  • 本地助手:看着摄像头或屏幕,用中文或英文实时对话
  • 需要自定义声音或角色扮演的语音助手,前提是允许克隆声音并已获得同意
  • 在一张 12 到 24 GB 的 GPU 或较新的 Mac 上读取照片、文档和视频
  • 商业产品,因为权重和代码都是 Apache 2.0

需要注意

  • 模型卡只介绍了中文和英文的语音对话,它所说的 30 多种语言并不专指语音
  • OpenCompass、OmniDocBench 和速度对比都是 OpenBMB 自己的,部分对手是在它自己的环境里运行的
  • 全双工演示需要 28 GB 显存的 NVIDIA GPU,模型卡把 transformers 固定在 4.51.0,量化版本可能损失一些精度
  • 模型卡介绍了凭参考音频克隆声音,但没有提到水印,所以同意和标注由你负责

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 9B AWQ (int4) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
9B (BF16) BF16 9.37B 22 GB 11 GB 19 GB 游戏显卡
9B AWQ (int4) INT4 9.37B 22 GB 11 GB 11 GB 笔记本或手机

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 11 GB。

显存计算器

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

MiniCPM-o 4.5 是什么?
MiniCPM-o 4.5 是一个可以边看摄像头画面边和你对话的 AI 模型。它同时听和说,不用轮流,还能主动开口,比如提醒你它看到的某件事。量化后可以在 12 GB 的 GPU 或较新的 Mac 上运行。
MiniCPM-o 4.5 可以商用吗?
可以。MiniCPM-o 4.5 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
MiniCPM-o 4.5 是开源的吗?
MiniCPM-o 4.5 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 MiniCPM-o 4.5 吗?
可以。最小版本 9B AWQ (int4) 在 4 位精度下约需 11 GB 内存,现代笔记本或中端显卡即可胜任。
MiniCPM-o 4.5 是什么时候发布的?
MiniCPM-o 4.5 由 OpenBMB 于 2026年2月3日 发布。
MiniCPM-o 4.5 的上下文窗口有多长?
MiniCPM-o 4.5 支持最长 40K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
MiniCPM-V 4.7 OpenBMB 1.55B – 35.2B 激活 3B 256K Apache 2.0 (宽松) 1.07 GB 笔记本或手机
Nemotron 3 Nano Omni NVIDIA 31B 激活 3B 256K NVIDIA Open Model (宽松) 32 GB 游戏显卡
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
MiMo-V2.6 Xiaomi 9.4B – 1.02T 激活 42B 1M MIT (宽松) 6.49 GB 笔记本或手机