上下文窗口
上下文窗口是模型一次最多能考虑的文本量,以 token 计量,其中包括你的提示词和模型自己的回答。
128K 的窗口大约能容纳 12.8 万个 token,约相当于一本 300 页的书,1M 的窗口则是它的八倍。你希望模型使用的一切内容,如文档、聊天历史和指令,都必须放进窗口,同时还要给模型写的回答留出空间。
更长的窗口有助于处理大型文档和代码库,但需要付出内存的代价。存放对话内容的 KV 缓存会随 token 数量增长,所以在自己的机器上使用很长的上下文,需要的内存远多于权重本身。宣传的窗口大小也只是上限:输入很长时质量可能下降,请用你自己的材料测试。
相关术语
- Token(词元) Token(词元)是语言模型读写的最小文本片段,通常是一个词或词的一部分;模型用 token 来衡量长度和速度。
- KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。