強化学習(RL)
強化学習は、正解やテスト合格のような良い結果に報酬を与えることでモデルを訓練します。例文を模倣させるのとは違う方法です。
普通の学習では、モデルはテキストを模倣することを学びます。強化学習では、モデルが何かを試み、その出来栄えをスコアが示し、スコアの高かった試みへとモデルが調整されていきます。スコアは検証器から得られます。たとえばコードがテストを通るか、数学の答えが正しいかなどです。あるいは人間の好みの代役を務めるモデルから得られることもあります。
近年の多くの推論モデルやコーディングエージェントは、この方法でポストトレーニングされています。Xiaomi の MiMo V2.6 と DeepReinforce の Ornith は、どちらも強化学習の実施について言及しています。報酬は検証器の出来栄え以上のものにはならないため、強化学習は報酬を与えた種類のタスクでモデルを向上させる傾向があります。結果は通常、開発者自身が公表します。
関連用語
- 推論モデル(Reasoning Model) 推論モデルは、最終的な答えを出す前に、見えるかどうかは別として「思考」フェーズで問題を一歩一歩掘り下げます。
- ファインチューニング(Fine-tuning) ファインチューニングは、事前学習済みモデルの学習を自分のサンプルで続けることで、特定のタスク、スタイル、分野でより良い振る舞いをさせます。
- AI エージェント AI エージェントとは、モデルがツールを呼び出して多段階のタスクを計画・実行するシステムです。コードの実行、ウェブ検索、ファイル編集などを行います。