LoRA(低ランク適応)

LoRA は「低ランク適応(low-rank adaptation)」の略称で、モデルの全パラメータを変更する代わりに、追加した少数の重みを学習することでファインチューニングを行います。

  • モデルの使い方
  • 更新日

LoRA アダプターのサイズは通常数十〜数百 MB で、ベースモデルは変更されません。学習されるのは小さなアダプターだけなので、ファインチューニングに必要な GPU メモリははるかに少なく、1 つのベースモデルに多くのアダプターを組み合わせられます。

画像生成モデルは LoRA をよく使います。わずか数枚の画像でスタイルやキャラクターを教え込め、アダプターはベースモデルの横に読み込まれます。QLoRA のように量子化したベースモデルの上で学習する変種は、必要なメモリをさらに削ります。

関連用語

  • ファインチューニング(Fine-tuning) ファインチューニングは、事前学習済みモデルの学習を自分のサンプルで続けることで、特定のタスク、スタイル、分野でより良い振る舞いをさせます。
  • 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。

すべての用語