VRAM
VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。
モデルが答えるには、重みを先にメモリへ読み込む必要があります。GPUではそのメモリがVRAMです。モデルが収まらない場合、ソフトウェアは読み込みを拒否するか、より遅いシステムメモリへあふれさせ、生成速度は大幅に落ちます。
経験則として、必要なメモリ量(ギガバイト)は、パラメータ数(十億単位)にパラメータあたりのバイト数を掛け、さらに約15%のオーバーヘッドを足したもので、長いコンテキストではさらに必要です。4ビット精度では30Bモデルに約20 GBが必要です。本サイトのVRAM計算機は、特定のモデルについて複数の精度でこれを見積もります。
関連用語
- 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。
- ユニファイドメモリ(Unified memory) ユニファイドメモリは、Appleシリコンなど一部のチップが採用する設計で、CPUとGPUが1つのメモリプールを共有するため、大きなモデルがその大部分を使えます。
- KVキャッシュ KV キャッシュは、会話のそれまでのトークンをモデルが覚えておくためのメモリで、コンテキスト長に伴って増えていきます。