Обучение с подкреплением (RL)

Обучение с подкреплением тренирует модель, вознаграждая хорошие результаты, например правильный ответ или прохождение тестов, вместо копирования примеров текста.

  • Основы
  • Обновлено

При обычном обучении модель учится подражать тексту. При обучении с подкреплением она что-то пробует, оценка говорит, насколько хорошо получилось, и модель подталкивается к попыткам, которые набрали больше очков. Оценка может приходить от проверяющего — например, проходит ли код тесты или верен ли ответ по математике, — или от модели, замещающей человеческие предпочтения.

Многие недавние рассуждающие модели и кодинг-агенты обучаются так после основного обучения; MiMo V2.6 от Xiaomi и Ornith от DeepReinforce оба описывают прогоны обучения с подкреплением. Награда хороша ровно настолько, насколько хорош её проверяющий, поэтому RL улучшает модель в основном на тех типах задач, за которые она награждалась. Результаты обычно сообщают сами разработчики.

Связанные термины

  • Рассуждающая модель (reasoning model) Рассуждающая модель прорабатывает задачу шаг за шагом в фазе «размышления», видимой или скрытой, прежде чем дать окончательный ответ.
  • Дообучение (fine-tuning) Дообучение продолжает обучение предобученной модели на ваших собственных примерах, чтобы она лучше работала в конкретной задаче, стиле или предметной области.
  • ИИ-агент ИИ-агент — это система, в которой модель планирует и выполняет многошаговые задачи, вызывая инструменты: например, запуская код, ища в интернете или редактируя файлы.

Все термины