精度(BF16、FP8、INT4)

精度とは、モデル内の各数値を格納するのに使うビット数のことで、16 ビットの BF16、8 ビットの FP8、4 ビットの INT4 などがあります。ビット数が少ないほど、モデルは小さく、速くなります。

  • ハードウェアとメモリ
  • 更新日

モデルは通常、BF16 のような 16 ビット形式で学習されます。リリース時に低精度の版が提供されることもあります。FP8 と INT8 は重み 1 つに 1 バイト、INT4 と FP4 は半バイトを使います。30B のモデルは、オーバーヘッドを除けば BF16 で約 60 GB、FP8 で約 30 GB、4 ビットで約 15 GB になります。

本サイトの各モデルページには、出荷されるすべてのバリアントの精度が記載されており、メモリ表は BF16、FP8、4 ビットでの必要量を推定しています。

関連用語

  • 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。
  • VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。

すべての用語