量子化対応トレーニング(QAT)
量子化対応トレーニング(QAT)は、学習の途中から低精度の重みに慣れさせ、4 ビットでの品質低下を、後から圧縮したモデルより小さく抑える手法です。
普通の量子化は完成した 16 ビットのモデルをより少ないビットに変換するもので、ビット数が減るほど品質の損失は大きくなります。QAT では低精度が学習の一部なので、重みがそれに適応します。Nanbeige4.3-33B-INT4 はこの方法で作られ、BF16 モデルからの蒸留と、INT4 モデル自体での強化学習が使われました。結果は約 23 GB ですが、モデルカードにスコアは示されていません。
低精度の重みを主要リリースとして公開する開発者も増えています。Moonshot は Kimi K2.7 Code をネイティブの INT4(約 595 GB)で出荷し、MiniMax M3.1 Flash はリリース時点で約 4 ビットに圧縮されています。第三者の変換を信頼する前に、まず開発者自身の低精度ファイルを使い、自分のタスクで試すのが最も安全です。
関連用語
- 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。
- 精度(BF16、FP8、INT4) 精度とは、モデル内の各数値を格納するのに使うビット数のことで、16 ビットの BF16、8 ビットの FP8、4 ビットの INT4 などがあります。ビット数が少ないほど、モデルは小さく、速くなります。
- 蒸留(Distillation) 蒸留は、より小さな「生徒」モデルに大きな「教師」モデルを模倣させる学習手法で、サイズはごく小さく保ちながら教師の能力の多くを引き継げます。
- 強化学習(RL) 強化学習は、正解やテスト合格のような良い結果に報酬を与えることでモデルを訓練します。例文を模倣させるのとは違う方法です。