ループトランスフォーマー(Looped transformer)
ループトランスフォーマーは、自分の層の一部をトークンごとに何度も繰り返し実行するため、パラメータを増やさずに計算量を増やせます。
普通のモデルは各トークンを各層で 1 回ずつ通します。ループモデルは重みを共有する層のブロックを再利用し、2 回以上実行することで、保存するパラメータを増やさずに深さを加えます。NVIDIA の Dory1.0-4B は 20 層のブロックを 1〜4 回繰り返し、回数はサーバー起動時に選びます。SenseTime の SenseNova-Loop-9B-Preview は 32 層を持ち、そのうち第 4〜27 層は 2 回実行されます。
重みは小さく保たれますが、トークンごとの時間は増えます。また Dory では各ループが既定でそれぞれの KV キャッシュを持ちますが、「最終ループのみ」モードならメモリを 1 ループ分の大きさに保てます。したがってパラメータ数は実際の計算量を過小評価しており、実行時のサポートも薄いのが実情です。SenseNova-Loop にはカスタムコードが要り、Dory の GGUF 経路ではバージョン固定の llama.cpp ビルドが必要です。ループモデルを前提に計画する前に、自分のツールが対応しているか確認してください。
関連用語
- パラメータ パラメータはモデル内部にあって学習時に調整される数値で、その数(7B や 70B など)がモデル規模の一般的な指標になります。
- KVキャッシュ KV キャッシュは、会話のそれまでのトークンをモデルが覚えておくためのメモリで、コンテキスト長に伴って増えていきます。
- 推論モデル(Reasoning Model) 推論モデルは、最終的な答えを出す前に、見えるかどうかは別として「思考」フェーズで問題を一歩一歩掘り下げます。
- 効率的アテンション(スパース、線形、ハイブリッド) 効率的アテンションの設計では、見るトークンを減らしたり過去を圧縮したりすることで、標準的なアテンションよりはるかに少ないメモリと計算で、非常に長い入力を読めます。