GGUF
GGUF 是 llama.cpp 及基于它的工具所使用的单文件模型格式,它把量化后的权重与运行所需的信息打包在一起。
一个 GGUF 文件包含模型的权重(通常已经量化)以及它的分词器和设置,所以一个文件就足以运行模型。像 Q4_K_M 这样的名称表示量化级别。
llama.cpp 以及基于它的工具(如 LM Studio)都能读取 GGUF 文件,Unsloth 也可以导出这种格式。许多 GGUF 文件由模型开发者或社区成员发布在 Hugging Face 上。由原模型转换而来的 GGUF 仍然适用原模型的许可证,商用之前请先确认。
相关术语
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。