効率的アテンション(スパース、線形、ハイブリッド)
効率的アテンションの設計では、見るトークンを減らしたり過去を圧縮したりすることで、標準的なアテンションよりはるかに少ないメモリと計算で、非常に長い入力を読めます。
標準的なアテンションは各トークンをそれ以前のすべてのトークンと比較するため、計算量は入力長の2乗で増え、KVキャッシュもトークンの数だけ増えていきます。100万トークンのコンテキストでは非常に高コストです。スパースアテンションは、各トークンが以前のトークンのうち選ばれた一部だけを見るようにします。線形アテンションや Mamba のような状態空間レイヤーは、過去を固定サイズの状態に圧縮します。ハイブリッド設計は、少数のフルアテンション層と多くのより安価な層を組み合わせます。
近年のオープンモデルはこれらのアイデアを採用しています。DeepSeek V4、GLM 5.3、MiniMax M3 はスパースアテンションを使い、Kimi K3.1 Pro は線形の Kimi Delta Attention とスパースアテンションを組み合わせ、Qwen3.5 と Ling 3.1 Flash は線形アテンション設計を採用し、NVIDIA の Nemotron 3 Ultra は Mamba-2 層と少数のアテンション層を交互に配置しています。利点は KV キャッシュが小さくなり、長いコンテキストの提供コストが下がることです。一方の代償はサポート体制で、これらのモデルは特定バージョンの vLLM や SGLang のビルドを必要とすることが多く、非常に長い入力での品質は自分の素材でテストすべきです。
関連用語
- KVキャッシュ KV キャッシュは、会話のそれまでのトークンをモデルが覚えておくためのメモリで、コンテキスト長に伴って増えていきます。
- コンテキストウィンドウ(Context window) コンテキストウィンドウとは、モデルが一度に考慮できるテキスト量の上限で、トークン単位で測られます。あなたのプロンプトとモデル自身の回答の両方が含まれます。
- 推論(Inference) 推論とは、学習済みモデルを実行して出力を得ること、たとえばプロンプトに答えさせることで、「モデルを学習させる」ことの対になる概念です。
- 専門家の混合(MoE) 混合専門家モデルは多くの専門特化したサブネットワークを含み、トークンごとにそのうちの少数だけを使うため、非常に大きくても高速に動けます。