ベースモデル(Base model)
ベースモデルは事前学習の素の出力で、指示に従うことや会話することをまだ学んでおらず、通常はファインチューニングの出発点になります。
大量のテキストで事前学習すると、テキストを続けることはできても、質問に確実に答えたり指示に従ったりはできないベースモデルが得られます。インストラクションチューニングや、多くの場合強化学習といったポストトレーニングによって、多くの人が使うチャットモデルや「instruct」モデルへと変わります。開発者がベースモデルも公開していれば、自分でポストトレーニングを行えます。
この言葉はゆるく使われます。言語モデルの場合は、インストラクションチューニング前のチェックポイントを指し、Thinking Machines の Inkling はカスタマイズ用のベースとして公開されている例です。Z-Image のような画像モデルの場合、「ベース」は蒸留していないモデルを意味します。こちらは遅いものの結果に多様性があり、高速な蒸留版の Turbo よりもファインチューニングの出発点として適しています。
関連用語
- ファインチューニング(Fine-tuning) ファインチューニングは、事前学習済みモデルの学習を自分のサンプルで続けることで、特定のタスク、スタイル、分野でより良い振る舞いをさせます。
- 蒸留(Distillation) 蒸留は、より小さな「生徒」モデルに大きな「教師」モデルを模倣させる学習手法で、サイズはごく小さく保ちながら教師の能力の多くを引き継げます。
- LoRA(低ランク適応) LoRA は「低ランク適応(low-rank adaptation)」の略称で、モデルの全パラメータを変更する代わりに、追加した少数の重みを学習することでファインチューニングを行います。
- 強化学習(RL) 強化学習は、正解やテスト合格のような良い結果に報酬を与えることでモデルを訓練します。例文を模倣させるのとは違う方法です。