KV 缓存

KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。

  • 硬件与内存
  • 更新于

每生成一个新 token,模型都要回看之前所有的 token。它不会每次都重新计算,而是把称为“键”和“值”的中间结果存放在 KV 缓存里。这让生成变得很快,但会占用内存。

缓存会随上下文长度和同时在线的用户数增长,因此很长的上下文或很多用户,占用的内存可能与权重本身一样多。vLLM 等引擎用 PagedAttention 之类的技术来管理缓存,有些模型设计本身就力求让缓存保持较小。

相关术语

  • 上下文窗口 上下文窗口是模型一次最多能考虑的文本量,以 token 计量,其中包括你的提示词和模型自己的回答。
  • 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。
  • 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。

继续阅读

全部术语