精度(BF16、FP8、INT4)
精度とは、モデル内の各数値を格納するのに使うビット数のことで、16 ビットの BF16、8 ビットの FP8、4 ビットの INT4 などがあります。ビット数が少ないほど、モデルは小さく、速くなります。
モデルは通常、BF16 のような 16 ビット形式で学習されます。リリース時に低精度の版が提供されることもあります。FP8 と INT8 は重み 1 つに 1 バイト、INT4 と FP4 は半バイトを使います。30B のモデルは、オーバーヘッドを除けば BF16 で約 60 GB、FP8 で約 30 GB、4 ビットで約 15 GB になります。
本サイトの各モデルページには、出荷されるすべてのバリアントの精度が記載されており、メモリ表は BF16、FP8、4 ビットでの必要量を推定しています。