推测解码与多 token 预测

推测解码用一个便宜的草稿模型先猜出后面的若干个 token,再让完整模型一次性检查,以此加快文本生成。

  • 硬件与内存
  • 更新于

语言模型通常一次写一个 token,每个 token 都要完整地过一遍模型。在推测解码中,一个小型草稿模型,或模型内部额外的预测层,会先提出接下来的几个 token。主模型再用一次计算检查它们,保留自己认可的部分,所以在标准实现中,输出与它单独写出的结果相同,只是更快。

许多近期的模型自带多 token 预测(MTP)层用于这一目的,例如 Hy3,以及 DeepSeek V4 和 GLM-5 家族,vLLM 和 SGLang 等推理服务器可以使用它。它对代码这类可预测的文本帮助最大,并且会多占一点内存。请检查你的服务器是否支持模型的 MTP 层,因为不同工具的支持情况和设置各不相同。

相关术语

  • 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。
  • KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。
  • Token(词元) Token(词元)是语言模型读写的最小文本片段,通常是一个词或词的一部分;模型用 token 来衡量长度和速度。

全部术语