蒸留(Distillation)
蒸留は、より小さな「生徒」モデルに大きな「教師」モデルを模倣させる学習手法で、サイズはごく小さく保ちながら教師の能力の多くを引き継げます。
生徒モデルは生のデータだけではなく、教師モデルの出力から学習します。コンパクトなモデルの多くがこの方法で高い成果を上げており、画像モデルの高速化にも使われています。蒸留版の FLUX Klein は、蒸留していない Base 版に比べて必要なサンプリングステップ数がはるかに少なくて済みます。
モデルの出力を別のモデルの学習に使うことを制限するライセンスもあります。オープンモデルから自分のモデルへ蒸留する前に、必ず条項を確認してください。
関連用語
- ファインチューニング(Fine-tuning) ファインチューニングは、事前学習済みモデルの学習を自分のサンプルで続けることで、特定のタスク、スタイル、分野でより良い振る舞いをさせます。
- パラメータ パラメータはモデル内部にあって学習時に調整される数値で、その数(7B や 70B など)がモデル規模の一般的な指標になります。