三値重み(Ternary weights、1.58ビット)
三値重みはモデルの各重みを -1、0、+1 の3つの値のいずれかに限定するため、16ビットではなく重み1つあたり2ビット未満で済みます。
3つの値はlog2(3)、つまり約1.58ビットの情報を運ぶため、三値モデルは1.58ビットモデルと呼ばれることがよくあります。実際のファイルではもう少し必要です。重みのグループごとにスケール係数も保存するためです。PrismMLのTernary Bonsai 2は128個の重みごとに1つの16ビットスケールを使い、これは重みあたり約1.7ビットに相当し、モデルを16ビット時のおよそ9分の1のサイズに縮めます。
三値重みは極端な形の量子化です。品質は低下し、小さいモデルほど低下が大きくなります。また、ファイルは通常専用のランタイムを必要とします。Ternary Bonsai 2の最もコンパクトなパッキングはPrismMLのllama.cppフォークで動作します。本サイトのVRAM計算機では、三値ファイルをパラメータあたり0.22バイトで計算しています。
関連用語
- 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。
- 精度(BF16、FP8、INT4) 精度とは、モデル内の各数値を格納するのに使うビット数のことで、16 ビットの BF16、8 ビットの FP8、4 ビットの INT4 などがあります。ビット数が少ないほど、モデルは小さく、速くなります。
- GGUF GGUF は llama.cpp およびそれを基盤とするツールが使う単一ファイルのモデル形式で、量子化された重みと実行に必要な情報を 1 つのファイルにまとめます。