显存(VRAM)

显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。

  • 硬件与内存
  • 更新于

模型的权重必须先加载到内存中才能回答问题。在 GPU 上,这块内存就是显存。如果模型放不下,软件要么拒绝加载,要么溢出到更慢的系统内存,生成速度会慢很多。

一个经验法则是:所需内存(GB)约等于以十亿计的参数量乘以每个参数的字节数,再加上约 15% 的额外开销,长上下文还需要更多。在 4 位精度下,30B 的模型大约需要 20 GB。本站的显存计算器可以针对具体的模型,按多种精度进行估算。

相关术语

  • 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
  • 统一内存 统一内存是 Apple 芯片和其他一些芯片采用的设计,CPU 和 GPU 共用同一块内存,因此大模型可以使用其中的大部分。
  • KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。

继续阅读

全部术语