KVキャッシュ
KV キャッシュは、会話のそれまでのトークンをモデルが覚えておくためのメモリで、コンテキスト長に伴って増えていきます。
新しいトークンを 1 個生成するたびに、モデルはそれ以前のすべてのトークンを振り返ります。毎回再計算する代わりに、キーと値と呼ばれる中間結果を KV キャッシュに保存します。これで生成は速くなりますが、メモリを使います。
キャッシュはコンテキスト長と同時利用者数に応じて増えるため、長いコンテキストや多数のユーザーは、重みそのものと同じくらいのメモリを取ることがあります。vLLM のようなエンジンは PagedAttention などの技術でキャッシュを管理し、キャッシュを小さく保つように設計されたモデルもあります。
関連用語
- コンテキストウィンドウ(Context window) コンテキストウィンドウとは、モデルが一度に考慮できるテキスト量の上限で、トークン単位で測られます。あなたのプロンプトとモデル自身の回答の両方が含まれます。
- VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。
- 推論(Inference) 推論とは、学習済みモデルを実行して出力を得ること、たとえばプロンプトに答えさせることで、「モデルを学習させる」ことの対になる概念です。