量化

量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。

  • 硬件与内存
  • 更新于

一个 16 位的权重占 2 字节,一个 4 位的权重约占半个字节。把模型从 16 位量化到 4 位,体积会缩小到大约四分之一,这往往就是“需要服务器”和“一张游戏显卡就够”之间的差别。

常见格式包括 FP8、INT8 和 INT4,以及 MXFP4、NVFP4 等较新的 4 位浮点格式。llama.cpp 使用的 GGUF 格式支持多种量化级别。比特位越少,质量损失的风险越大,对小模型尤其如此,所以请在你打算使用的级别上测试。

相关术语

  • 精度(BF16、FP8、INT4) 精度指的是模型中每个数字用多少比特位来存储,例如 16 位的 BF16、8 位的 FP8 或 4 位的 INT4;位数越少,模型越小、越快。
  • GGUF GGUF 是 llama.cpp 及基于它的工具所使用的单文件模型格式,它把量化后的权重与运行所需的信息打包在一起。
  • 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。

继续阅读

全部术语