PrismML 的 Ternary Bonsai 2:27B 级模型只有 5.95 GB
PrismML 发布了 Ternary Bonsai 2:把 Qwen 模型压缩成三值权重,27B 模型只有 5.95 GB,2B 模型只有 0.43 GB,支持图像输入,上下文 262K,采用 Apache 2.0。
总部位于美国加州帕萨迪纳的 PrismML 分两步发布了 Ternary Bonsai 2:27B 模型在 2026 年 9 月 17 日发布,9B、4B 和 2B 模型在 10 月 15 日发布。每一个都是阿里巴巴的 Qwen 模型,权重只用三种取值存储,所以 27B 的文件是 5.95 GB,2B 的文件是 0.43 GB。
有什么新内容
这些模型不是从零训练的。每一个都由一个 Qwen 模型衍生而来,架构没有变化:最大的是 Qwen3.8-27B,9B、4B 和 2B 来自 Qwen3.5。每一个语言模型权重,包括嵌入层和输出层,都存成 −1、0 或 +1,每 128 个权重共用一个 16 位的缩放系数。这相当于每个权重约 1.7 位,而不是 16 位,是一种极端的量化方式,称为三值权重。四种规格都保留了基础模型 262K token 的上下文,都能接受图像、调用工具,默认会先思考再回答。
PrismML 报告,在它自己的 14 项基准测试中,27B 模型平均得 84.78,是 16 位 Qwen3.8-27B(86.32)的 98.2%,而同一个模型的常规 2 位版本平均只有 72.59。损失主要出现在知识和推理(79.86,对比 85.55)以及视觉(66.19,对比 71.36)上。小规格的损失更大:2B 在 GPQA Diamond 上得 39.6,而 Qwen3.5-2B 是 58.48。这些都是 PrismML 自己的结果,我们没有复现过。
运行它
27B 语言模型在最紧凑的 GGUF 打包格式(PTQ1_0)下是 5.95 GB,16 位版本约 54 GB;另一种 7.21 GB 的 PQ2_0 打包格式在一些 GPU 上解码更快。9B、4B 和 2B 的文件分别是 2.00、0.95 和 0.43 GB。图像输入还需要一个 0.36 到 0.63 GB 的独立视觉投影文件。两种紧凑打包格式需要 PrismML 的 llama.cpp 分支,或者它在 Apple 芯片上的 MLX 版本。第三种文件类型 Q2_0 更大(27B 为 7.63 GB),可以在较新的上游 llama.cpp 上运行,但旧版本加载它时不会给出警告,却会输出乱码。PrismML 报告 27B 在 RTX 5090 上约 130 token/秒,在 Apple M5 Pro 笔记本上约 28 token/秒。默认的推理强度是 xhigh,所以要给模型设置足够大的输出上限。
许可证
四种规格都采用 Apache 2.0,与它们的 Qwen 基础模型相同,所以允许商用。PrismML 的第一代 Bonsai 模型(1 位和 1.58 位版本)仍在 Hugging Face 上,但已被取代。
为什么重要
一个支持图像输入、只需约 6 GB 的 27B 级模型,普通笔记本就能承载;0.95 GB 的 4B 和 0.43 GB 的 2B 则适合手机、平板和常驻后台的任务。代价是质量会下降,规格越小下降越多,而且最紧凑的打包格式要依赖 PrismML 的分支。
想了解其他小模型,请看笔记本就能运行的最佳小型开源模型榜单,其中也收录了 NVIDIA 的 Dory 1.0。量化详解说明了低比特格式如何在体积和质量之间取舍,Qwen3.5 则是三个较小规格背后的模型家族。
来源
- PrismML Launches Bonsai 2 27B, Its Most Capable Model Yet(PrismML,2026 年 9 月 17 日) prismml.com
- Introducing Ternary Bonsai 2 2B, 4B, and 9B(PrismML,2026 年 10 月 15 日) prismml.com
- Ternary-Bonsai-2-27B-gguf 模型卡(Hugging Face) huggingface.co
- PrismML 文档:Ternary Bonsai 2 27B docs.prismml.com
本文涉及的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Ternary Bonsai 2 PrismML | 2.21B – 27.4B | 256K | Apache 2.0 (宽松) | 0.473 GB 笔记本或手机 | |
| Qwen3.8-27B Alibaba Qwen | 27.8B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| Qwen3.5 Alibaba Qwen | 873M – 403B 激活 17B | 256K | Apache 2.0 (宽松) | 0.602 GB 笔记本或手机 | |
| Dory 1.0 NVIDIA | 4B | 256K | OpenMDW-1.1 (宽松) | 2.76 GB 笔记本或手机 |