Ternary Bonsai 2
把 Qwen 模型压缩成三值权重:27B 级模型只要 5.95 GB,2B 模型只要 0.43 GB,全部支持图像。
一句话概括. Bonsai 2 把常见的 Qwen 模型压缩,让每个权重只能取三个值,文件因此缩小到原来的约九分之一。27B 版本约 6 GB,笔记本就能运行;2B 版本不到半个 GB。四种规格都能看图,并且会先思考再回答。
概述
Ternary Bonsai 2 是 PrismML(总部在美国加州帕萨迪纳)推出的视觉语言模型系列,共四种规格。它们不是从头训练的,而是各自从一个阿里巴巴 Qwen 模型派生而来,架构保持不变:最大的 27B 基于 Qwen3.8-27B,其余三个基于 Qwen3.5-9B、4B 和 2B。PrismML 的工作在于压缩:语言模型的每个权重(包括词嵌入和输出层)都存成 −1、0 或 +1,每 128 个权重共用一个 16 位缩放系数,折合每个权重约 1.7 位,而不是 16 位。27B 模型于 2026 年 9 月 17 日发布,9B、4B 和 2B 模型于 2026 年 10 月 15 日发布。四个模型都采用 Apache 2.0,与各自基础模型的许可证一致。
最直观的效果是文件大小。27B 语言模型在最紧凑的 GGUF 封装 PTQ1_0 下是 5.95 GB,而 16 位版本约 54 GB;另有 7.21 GB 的 PQ2_0 封装,在部分显卡上解码更快。9B、4B 和 2B 的文件分别是 2.00、0.95 和 0.43 GB。图像输入还需要一个 0.36 至 0.63 GB 的视觉投影文件,只在有图片时才加载。四种规格都保留了基础模型的 262K token 上下文,支持工具调用,并且默认先思考再回答。面向 Apple 芯片还有 2 位的 MLX 版本。
开发者自报的质量。在 PrismML 自己的 14 项基准套件上(思考模式,用 EvalScope 和 vLLM 在 H100 上运行),27B 模型的平均分是 84.78,相当于 16 位 Qwen3.8-27B(86.32)的 98.2%。同一基础模型的常规 2 位量化版本(IQ2_XXS,7.27 GB)在这套基准上只有 72.59。数学(96.57 对 97.06)、编程(89.42 对 89.07)和工具调用(BFCL v3,74.92 对 76.74)都接近基线,损失集中在知识与推理(79.86 对 85.55)和视觉(66.19 对 71.36)。三个较小的规格,PrismML 的发布博客用 19 项基准与对应的 Qwen3.5 模型做了对比:9B 在六个能力类别里都保留了约 92% 到 100% 的基线得分,最弱的几项是 Tau2Bench(73.02 对 85.25)、GPQA Diamond(69.9 对 82.53)和文档基准 Omni_doc(73.8 对 88.73);2B 在 GPQA Diamond 上降到 39.6,Qwen3.5-2B 是 58.48。这些都是 PrismML 自己的结果,我们没有复现。
PrismML 的 llama.cpp 分支可以在 NVIDIA 显卡、Apple 芯片和 CPU 上运行两种紧凑封装。第三种封装 Q2_0 略大(27B 为 7.63 GB),可以在较新的上游 llama.cpp 上运行;旧版本加载它不会报错,却会输出乱码,所以要先检查版本。PrismML 报告 27B 在 RTX 5090 上约 130 token/s,在 Apple M5 Pro 笔记本上约 28 token/s,用的是 PQ2_0 文件。较小规格的发布博客还称,在 RTX 4090 和 M5 Pro 等硬件上,Bonsai 2 的吞吐量最高可达对应全精度模型的 5 倍,能效最高 3 倍。请使用模型卡给出的采样设置,思考模式和非思考模式的设置不同。默认的推理强度是 xhigh,所以要给足输出长度;low 档不受支持,效果接近 xhigh。
第一代 Bonsai 模型(27B、8B、4B 和 1.7B 的 1 位与 1.58 位版本)仍在 Hugging Face 上,但已被取代。本条目只涵盖 Bonsai 2。
适合做什么
- 在笔记本或单张消费级显卡上运行带图像输入的 27B 级推理模型
- 手机、平板和常驻后台的任务,4B(0.95 GB)和 2B(0.43 GB)两种规格装得下
- 把提示词和文件留在本机的私有或离线助手
- 商业产品,因为四种规格都采用 Apache 2.0
需要注意
- 两种紧凑封装需要 PrismML 的 llama.cpp 分支或它的 MLX 版本,原版 llama.cpp 只能运行体积较大的 Q2_0 文件,而且只限较新的版本
- 压缩会损失一些质量,主要在知识、推理和视觉任务上,规格越小损失越大
- 模型默认先思考,需要很大的输出长度上限,否则回答会在思考中途被截断
- 在 H100、A100 和 Blackwell 显卡上,最紧凑的 5.95 GB 文件解码比 7.21 GB 的更慢
- 所有基准和速度数字都来自 PrismML 自己,没有经过独立验证
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Ternary Bonsai 2 2B 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Ternary Bonsai 2 2B TERNARY | 2.21B | 5.08 GB | 2.54 GB | 0.473 GB | 笔记本或手机 |
| Ternary Bonsai 2 4B TERNARY | 4.54B | 10 GB | 5.22 GB | 1.04 GB | 笔记本或手机 |
| Ternary Bonsai 2 9B TERNARY | 9.41B | 22 GB | 11 GB | 2.2 GB | 笔记本或手机 |
| Ternary Bonsai 2 27B TERNARY | 27.4B | 63 GB | 31 GB | 6.55 GB | 笔记本或手机 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- Ternary Bonsai 2 是什么?
- Bonsai 2 把常见的 Qwen 模型压缩,让每个权重只能取三个值,文件因此缩小到原来的约九分之一。27B 版本约 6 GB,笔记本就能运行;2B 版本不到半个 GB。四种规格都能看图,并且会先思考再回答。
- Ternary Bonsai 2 可以商用吗?
- 可以。Ternary Bonsai 2 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Ternary Bonsai 2 是开源的吗?
- Ternary Bonsai 2 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Ternary Bonsai 2 吗?
- 可以。最小版本 Ternary Bonsai 2 2B 在 4 位精度下约需 0.473 GB 内存,现代笔记本或中端显卡即可胜任。
- Ternary Bonsai 2 是什么时候发布的?
- Ternary Bonsai 2 由 PrismML 于 2026年9月17日 发布。
- Ternary Bonsai 2 的上下文窗口有多长?
- Ternary Bonsai 2 支持最长 256K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- PrismML: PrismML Launches Bonsai 2 27B, Its Most Capable Model Yet (17 Sep 2026) prismml.com
- PrismML: Introducing Ternary Bonsai 2 2B, 4B, and 9B (15 Oct 2026) prismml.com
- Ternary-Bonsai-2-27B-gguf model card (Hugging Face) huggingface.co
- Ternary-Bonsai-2-9B-gguf model card (Hugging Face) huggingface.co
- PrismML documentation: Ternary Bonsai 2 27B docs.prismml.com
- Bonsai 2 27B whitepaper (PrismML) github.com
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen3.8-27B Alibaba Qwen | 27.8B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| Qwen3.5 Alibaba Qwen | 873M – 403B 激活 17B | 256K | Apache 2.0 (宽松) | 0.602 GB 笔记本或手机 | |
| Dory 1.0 NVIDIA | 4B | 256K | OpenMDW-1.1 (宽松) | 2.76 GB 笔记本或手机 | |
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 |