三值权重(Ternary weights,1.58 位)
三值权重把每个模型权重限制为 -1、0 或 +1 三个值之一,所以每个权重只需不到 2 位,而不是 16 位。
三个取值携带 log2(3),约 1.58 位的信息,所以三值模型常被称为 1.58 位模型。实际文件需要的会稍多一点,因为每一组权重还要存一个缩放系数。PrismML 的 Ternary Bonsai 2 每 128 个权重共用一个 16 位缩放系数,折合每个权重约 1.7 位,把模型缩小到 16 位大小的大约九分之一。
三值权重是一种极端的量化方式。质量会下降,小模型比大模型下降得更多,而且文件通常需要专门的运行时:Ternary Bonsai 2 最紧凑的打包格式要在 PrismML 的 llama.cpp 分支上运行。本站的显存计算器把三值文件按每个参数 0.22 字节计算。
相关术语
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
- 精度(BF16、FP8、INT4) 精度指的是模型中每个数字用多少比特位来存储,例如 16 位的 BF16、8 位的 FP8 或 4 位的 INT4;位数越少,模型越小、越快。
- GGUF GGUF 是 llama.cpp 及基于它的工具所使用的单文件模型格式,它把量化后的权重与运行所需的信息打包在一起。