LoRA(低ランク適応)
LoRA は「低ランク適応(low-rank adaptation)」の略称で、モデルの全パラメータを変更する代わりに、追加した少数の重みを学習することでファインチューニングを行います。
LoRA アダプターのサイズは通常数十〜数百 MB で、ベースモデルは変更されません。学習されるのは小さなアダプターだけなので、ファインチューニングに必要な GPU メモリははるかに少なく、1 つのベースモデルに多くのアダプターを組み合わせられます。
画像生成モデルは LoRA をよく使います。わずか数枚の画像でスタイルやキャラクターを教え込め、アダプターはベースモデルの横に読み込まれます。QLoRA のように量子化したベースモデルの上で学習する変種は、必要なメモリをさらに削ります。
関連用語
- ファインチューニング(Fine-tuning) ファインチューニングは、事前学習済みモデルの学習を自分のサンプルで続けることで、特定のタスク、スタイル、分野でより良い振る舞いをさせます。
- 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。