量化详解:Q4、FP8、GGUF,以及你要付出的代价

量化是用更少的位数存储模型权重来缩小模型。了解 FP8、INT4、Q4_K_M、GGUF、MXFP4 和 NVFP4 的含义、能省多少内存,以及如何选择。

  • 进阶
  • 阅读约 6 分钟
  • 发布于
  • 更新于

简短回答。 量化是用更少的位数存储每个权重,比如用 8 位或 4 位代替 16 位,它能把内存减少到原来的二分之一到四分之一,通常还能加快生成速度,代价是质量有小幅下降。对于消费级硬件上的语言模型,4 位通常是最佳平衡点。内存充裕时选 8 位,并在自己的任务上测试。

为什么要量化

模型的权重就是数字。以 16 位格式(BF16)存储时,每个数字占 2 字节。因此,一个 300 亿参数的模型大约重 60 GB,普通显卡根本装不下。把同样的数字改用 4 位存储,权重就缩小到大约四分之一。

权重变小也有助于提速。在自己的电脑上和模型聊天时,生成每个 token 都要从内存中读取所有激活的权重,所以限制速度的通常是内存传输数据的速度,而不是处理器的计算速度。要读取的字节越少,每秒生成的 token 就越多。

代价是精度。每个权重都被舍入到更少的可选数值之一,所以模型的行为会与原版有一点偏离。好的量化方法能让这种偏离很小。

你会遇到的格式

名称 每个权重的位数 在哪里见到 说明
BF16、FP16 16 原始发布版本 基准质量,体积最大
FP8、INT8 8 vLLM、SGLang 等服务端引擎,以及许多官方发布版本 大小约为 BF16 的一半,通常接近原版;FP8 需要较新的 GPU 才能发挥全部速度
GPTQ、AWQ 约 4 GPU 服务器和部分本地工具 把已训练好的模型量化到 4 位的方法
GGUF 各等级(Q8_0、Q6_K、Q5_K_M、Q4_K_M、Q3_K_M 等) 约 3 至 8 llama.cpp、LM Studio、Ollama 一个文件包含多个等级;Q4_K_M 约 4.8 位
MXFP4 约 4.25 gpt-oss、Granite 4.2 30B MXFP4、Kimi K3.1 Pro 开放的 4 位浮点格式,一组数值共用一个缩放系数
NVFP4 约 4.5 Mistral Large 4、Muse Spark Open、Reflection Beam 的 NVFP4 版本 NVIDIA 的 4 位浮点格式;需要 Blackwell 级 GPU 才有原生速度
三值 约 1.7 Ternary Bonsai 2 每个权重都是 -1、0 或 +1,每 128 个权重共用一个缩放系数;需要专门的运行时,质量会有损失,小规格损失更大(参见三值权重)

每个模型每个变体的精度都列在它的模型页面上。

看懂 GGUF 的名称

GGUF 是 llama.cpp 及基于它的工具所用的单文件格式。Q4_K_M 这样的名称有一定规律:

  • Q 加数字: 大致表示每个权重用多少位,所以 Q8 约 8 位,Q4 约 4 位。
  • K: k-quant 方法,按块量化,并给最重要的张量更高的精度。
  • S、M 或 L: 该等级内的小、中、大版本。越大意味着精度略高,文件也略大。

经验法则是:Q8_0 接近无损,Q6_K 和 Q5_K_M 非常接近,Q4_K_M 是体积与质量的常用平衡点,再往下质量下降得更快。

原生低精度与事后量化

你可以在模型训练完成后再量化,也可以在训练时就考虑低精度。训练时就考虑了量化的模型,损失往往更小。

  • gpt-oss 在后训练时对专家权重做了 MXFP4 量化,所以 21B 模型只有约 14 GB。
  • MiniMax M3.1 Flash 的专家和注意力路径经过了对量化友好的训练,4280 亿参数发布时只有约 252 GB。
  • DeepSeek V4.1 Flash 的 5520 亿参数约 510 GB,每个参数不到一个字节。
  • Nanbeige4.3-33B 提供约 23 GB 的 INT4 版本,用量化感知训练、来自 BF16 模型的蒸馏,以及直接在 INT4 模型上做的强化学习制成,不过模型卡没有给出这个版本的分数。

对于这类模型,发布的检查点本身就已经很小,再进一步量化的收益更小、风险更大。

会损失多少质量

这取决于模型、方法和任务。

  • 8 位: 实际使用中几乎无法分辨。
  • 4 位: 大型和中型模型有小幅损失。小模型损失更大,因为它们的权重本来就没有多少余地。
  • 低于 4 位: 损失增长很快。只有在别的都放不下时才用,并且要仔细测试。
  • 敏感的任务: 数学、代码、结构化输出和长推理链最先出现问题。如果你依赖非英语文本,也要检查。

诚实的回答是:去测试。用 10 到 20 个你真实的提示词,在两个版本上运行,并排比较结果。如何自己评估模型会教你怎么做。

量化上下文缓存

权重并不是唯一占用内存的部分。KV 缓存会随着对话变长而增长,有些引擎也可以用 8 位存储它,在长上下文下节省内存,同样会带来小幅质量风险。运行 AI 模型需要多少内存讲解了缓存会变多大。

如何选择

情形 建议
内存有限的笔记本或游戏显卡 4 位,例如 GGUF Q4_K_M
内存充裕,或者工作对错误很敏感 8 位(Q8_0 或 FP8),或 Q6_K
非常小的模型,参数量约 3B 以下 6 至 8 位,因为小模型更吃亏
数据中心 GPU FP8,或在 Blackwell 级硬件上用 NVFP4
在单张 GPU 上微调 在 4 位基础模型上做 LoRA,即 QLoRA
图像和视频模型 开发者或社区提供 INT8 或 FP8 版本时选用,并用你自己的提示词测试

量化文件是谁制作的

开发者会发布其中一部分,比如本站收录的 FP8 和 NVFP4 版本。社区成员会发布更多,尤其是 GGUF 文件,Ollama 等工具也会把模型重新打包进它们自己的库。请优先选择开发者或知名发布者提供的版本,检查文件名和大小是否符合预期,并记住原模型的许可证依然适用。微调入门介绍了 QLoRA。

常见问题

Q4_K_M 是什么意思?
它是 GGUF 格式中的一个量化等级。Q4 表示每个权重大约 4 位,K 表示 k-quant 方法(按块缩放,并让一部分更重要的张量保持更高精度),M 表示该等级的中等版本。平均下来每个权重约 4.8 位。
4 位量化比原版差很多吗?
对于日常聊天,中型和大型模型的优质 4 位版本通常感觉和原版接近。小模型以及对微小误差敏感的任务(如数学、代码和结构化输出)的损失更大,所以请用你自己的例子测试。
量化会改变许可证吗?
不会。量化副本是原模型的衍生品,原模型的许可证对它依然适用。
我可以自己量化模型吗?
可以。llama.cpp 可以量化成 GGUF,MLX LM 可以为 Apple 芯片量化模型,Unsloth 可以导出 GGUF 等格式。对于热门模型,通常已经有现成的量化版本。
4 位的大模型一定比 8 位的小模型好吗?
在相同的内存下,4 位的大模型通常比 8 位的小模型表现更好,这也是 4 位如此流行的原因之一。结果因模型和任务而异,所以两种都测一测。

本文关键术语

  • GGUF GGUF 是 llama.cpp 及基于它的工具所使用的单文件模型格式,它把量化后的权重与运行所需的信息打包在一起。
  • KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。
  • LoRA(低秩适配) LoRA 是低秩适配的简称,它通过训练一小组新增的权重来微调模型,而不是改动模型的全部参数。
  • 精度(BF16、FP8、INT4) 精度指的是模型中每个数字用多少比特位来存储,例如 16 位的 BF16、8 位的 FP8 或 4 位的 INT4;位数越少,模型越小、越快。
  • 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
  • 量化感知训练(QAT) 量化感知训练让模型在训练阶段就适应低精度权重,所以在 4 位下的质量损失,比事后压缩的模型更小。
  • 三值权重(Ternary weights,1.58 位) 三值权重把每个模型权重限制为 -1、0 或 +1 三个值之一,所以每个权重只需不到 2 位,而不是 16 位。
  • 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
gpt-oss OpenAI 21B – 117B 激活 5.1B 128K Apache 2.0 (宽松) 15 GB 笔记本或手机
Granite 4.2 IBM 3.7B – 29.3B 128K Apache 2.0 (宽松) 2.55 GB 笔记本或手机
MiniMax M3.1 Flash MiniMax 428B 激活 23B 1M MiniMax Community (附条件) 277 GB 大内存台式机
Mistral Large 4 Mistral AI 1.05T 激活 52B 1M Mistral Open-Weight (附条件) 671 GB GPU 服务器
DeepSeek V4.1 Flash DeepSeek 552B 激活 16B 1M MIT (宽松) 561 GB GPU 服务器
Qwen3.8-27B Alibaba Qwen 27.8B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
Nanbeige4.3-33B Nanbeige LLM Lab 33.1B 512K Apache 2.0 (宽松) 23 GB 游戏显卡