量子化

量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。

  • ハードウェアとメモリ
  • 更新日

16 ビットの重みは 2 バイト、4 ビットの重みは約半バイトを占めます。したがってモデルを 16 ビットから 4 ビットへ量子化すると、サイズはおよそ 4 分の 1 に縮みます。これは「サーバーが必要」と「ゲーム用 GPU 1 枚に収まる」の分水嶺によく相当します。

一般的な形式には FP8、INT8、INT4 があり、さらに MXFP4、NVFP4 といった新しい 4 ビット浮動小数点形式もあります。llama.cpp が使う GGUF 形式は多くの量子化レベルに対応しています。ビット数が少ないほど品質低下のリスクは高まり、小さいモデルでは特にその傾向があるため、実際に使う予定のレベルで試してください。

関連用語

  • 精度(BF16、FP8、INT4) 精度とは、モデル内の各数値を格納するのに使うビット数のことで、16 ビットの BF16、8 ビットの FP8、4 ビットの INT4 などがあります。ビット数が少ないほど、モデルは小さく、速くなります。
  • GGUF GGUF は llama.cpp およびそれを基盤とするツールが使う単一ファイルのモデル形式で、量子化された重みと実行に必要な情報を 1 つのファイルにまとめます。
  • VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。

すべての用語