循环 Transformer

循环 Transformer 会对每个 token 把自己的一部分层重复运行多次,因此不用存储更多参数,就能获得更多计算。

  • 模型与架构
  • 更新于

普通模型让每个 token 经过每一层各一次。循环模型则把一组层用共享权重重复使用,运行两次或更多次,不增加存储的参数,却增加了深度。NVIDIA 的 Dory1.0-4B 会把一个 20 层的模块重复运行一到四次,次数在启动服务时选择。商汤的 SenseNova-Loop-9B-Preview 存储了 32 层,其中第 4 到 27 层会运行两次。

权重保持很小,但每个 token 要花更多时间,而且在 Dory 中每个循环默认保留各自的 KV 缓存,不过“仅最后一轮”模式能把内存保持在一次循环的大小。所以参数量低估了实际的工作量,运行时的支持也很有限:SenseNova-Loop 需要自定义代码,Dory 的 GGUF 路线需要固定版本的 llama.cpp。打算使用循环模型之前,请先确认你的工具支持它。

相关术语

  • 参数 参数是模型内部在训练中被调整的数字,参数数量(如 7B 或 70B)是衡量模型规模的常用指标。
  • KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。
  • 推理模型(Reasoning Model) 推理模型在给出最终答案之前,会先经过一个可见或不可见的“思考”阶段,一步一步地解决问题。
  • 高效注意力(稀疏、线性与混合) 高效注意力设计让模型用比标准注意力少得多的内存和算力读取超长输入,做法是少看一些 token,或压缩过去的内容。

全部术语