量化感知训练(QAT)
量化感知训练让模型在训练阶段就适应低精度权重,所以在 4 位下的质量损失,比事后压缩的模型更小。
普通的量化是把训练完成的 16 位模型转换成更少的比特位,位数越少,质量损失越大。QAT 则把低精度放进训练过程,让权重去适应它。Nanbeige4.3-33B-INT4 就是这样做出来的,用到了来自 BF16 模型的蒸馏,以及直接在 INT4 模型上做的强化学习,结果约 23 GB,不过模型卡没有给出它的分数。
现在有些开发方把低精度权重作为主要发布版本。月之暗面把 Kimi K2.7 Code 原生以 INT4 发布,约 595 GB,MiniMax M3.1 Flash 发布时就已经压缩到约 4 位。最稳妥的做法通常是先用开发方自己发布的低精度文件,并在你自己的任务上测试之后,再去信任第三方的转换版本。
相关术语
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
- 精度(BF16、FP8、INT4) 精度指的是模型中每个数字用多少比特位来存储,例如 16 位的 BF16、8 位的 FP8 或 4 位的 INT4;位数越少,模型越小、越快。
- 蒸馏 蒸馏是训练一个较小的“学生”模型去模仿较大的“教师”模型,用很小的体积保留教师的大部分能力。
- 强化学习(RL) 强化学习通过奖励好的结果来训练模型,例如答对问题或通过测试,而不是让模型去模仿示例文本。