コンテキストウィンドウ(Context window)

コンテキストウィンドウとは、モデルが一度に考慮できるテキスト量の上限で、トークン単位で測られます。あなたのプロンプトとモデル自身の回答の両方が含まれます。

  • 基礎知識
  • 更新日

128K のウィンドウは約 12.8万トークン、だいたい 300 ページの本一冊分で、1M のウィンドウはその 8 倍です。モデルに使ってほしいもの、たとえばドキュメント、チャット履歴、指示はすべてウィンドウ内に収まる必要があり、さらにモデルが書く回答のためのスペースも必要です。

長いウィンドウは大きなドキュメントやコードベースに役立ちますが、メモリを消費します。会話を保存する KV キャッシュはトークン数に応じて増えるため、自分のマシンで非常に長いコンテキストを使うには、重みだけの場合よりはるかに多くのメモリが必要です。宣伝されているウィンドウはあくまで上限です。非常に長い入力では品質が落ちることがあるので、自分の材料でテストしてください。

関連用語

  • トークン(Token) トークンは、言語モデルが読み書きする小さなテキストのかたまり(多くは単語か単語の一部)で、モデルは長さや速度をトークン単位で測ります。
  • KVキャッシュ KV キャッシュは、会話のそれまでのトークンをモデルが覚えておくためのメモリで、コンテキスト長に伴って増えていきます。
  • VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。

すべての用語