上下文窗口

上下文窗口是模型一次最多能考虑的文本量,以 token 计量,其中包括你的提示词和模型自己的回答。

  • 基础概念
  • 更新于

128K 的窗口大约能容纳 12.8 万个 token,约相当于一本 300 页的书,1M 的窗口则是它的八倍。你希望模型使用的一切内容,如文档、聊天历史和指令,都必须放进窗口,同时还要给模型写的回答留出空间。

更长的窗口有助于处理大型文档和代码库,但需要付出内存的代价。存放对话内容的 KV 缓存会随 token 数量增长,所以在自己的机器上使用很长的上下文,需要的内存远多于权重本身。宣传的窗口大小也只是上限:输入很长时质量可能下降,请用你自己的材料测试。

相关术语

  • Token(词元) Token(词元)是语言模型读写的最小文本片段,通常是一个词或词的一部分;模型用 token 来衡量长度和速度。
  • KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。
  • 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。

继续阅读

全部术语