高效注意力(稀疏、线性与混合)

高效注意力设计让模型用比标准注意力少得多的内存和算力读取超长输入,做法是少看一些 token,或压缩过去的内容。

  • 模型与架构
  • 更新于

标准注意力会把每个 token 与它之前的每个 token 比较,所以计算量随输入长度的平方增长,KV 缓存也随每个 token 增长。在 1M token 的上下文下,这代价非常高。稀疏注意力让每个 token 只看之前 token 中挑选出的一部分。线性注意力和 Mamba 这样的状态空间层则把过去压缩成固定大小的状态。混合设计把少量的完整注意力层和许多更便宜的层搭配使用。

近期的开放模型都在使用这些思路。DeepSeek V4、GLM 5.3 和 MiniMax M3 采用稀疏注意力,Kimi K3.1 Pro 把线性的 Kimi Delta Attention 与稀疏注意力结合,Qwen3.5 和 Ling 3.1 Flash 采用线性注意力设计,NVIDIA 的 Nemotron 3 Ultra 则让 Mamba-2 层与少量注意力层交错。好处是 KV 缓存更小,长上下文服务更便宜。代价是支持:这些模型往往需要特定版本的 vLLM 或 SGLang,而且对超长输入的质量应该用你自己的材料来测试。

相关术语

  • KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。
  • 上下文窗口 上下文窗口是模型一次最多能考虑的文本量,以 token 计量,其中包括你的提示词和模型自己的回答。
  • 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。
  • 混合专家模型(MoE) 混合专家模型包含许多专门的子网络,每个 token 只使用其中少数几个,因此可以做得很大,同时依然很快。

全部术语