Рассуждающая модель (reasoning model)

Рассуждающая модель прорабатывает задачу шаг за шагом в фазе «размышления», видимой или скрытой, прежде чем дать окончательный ответ.

  • Модели и архитектура
  • Обновлено

Рассуждающие модели тратят дополнительные токены на промежуточные шаги, что обычно улучшает результаты в математике, программировании и других многошаговых задачах. В некоторых открытых моделях есть переключатель, включающий или выключающий размышления: точность обменивается на скорость и цену.

Дополнительные размышления расходуют контекст и требуют времени, поэтому рассуждающая модель не всегда лучший выбор для простого чата или коротких ответов. Сравнивая модели, проверьте, была ли оценка бенчмарка измерена с включёнными размышлениями.

Связанные термины

  • Токен Токен — это небольшой кусок текста, часто слово или часть слова, который языковая модель читает и пишет; модели измеряют длину и скорость в токенах.
  • Контекстное окно Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.
  • ИИ-агент ИИ-агент — это система, в которой модель планирует и выполняет многошаговые задачи, вызывая инструменты: например, запуская код, ища в интернете или редактируя файлы.

Все термины