精度(BF16、FP8、INT4)
精度指的是模型中每个数字用多少比特位来存储,例如 16 位的 BF16、8 位的 FP8 或 4 位的 INT4;位数越少,模型越小、越快。
模型通常以 BF16 等 16 位格式训练。发布时也可能提供较低精度的版本:FP8 和 INT8 每个权重占一个字节,INT4 和 FP4 占半个字节。一个 30B 的模型,在不计额外开销时,BF16 约 60 GB,FP8 约 30 GB,4 位约 15 GB。
本站每个模型页面都会列出每个发布版本的精度,其内存表按 BF16、FP8 和 4 位估算所需内存。
相关术语
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。