Рассуждающая модель (reasoning model)
Рассуждающая модель прорабатывает задачу шаг за шагом в фазе «размышления», видимой или скрытой, прежде чем дать окончательный ответ.
Рассуждающие модели тратят дополнительные токены на промежуточные шаги, что обычно улучшает результаты в математике, программировании и других многошаговых задачах. В некоторых открытых моделях есть переключатель, включающий или выключающий размышления: точность обменивается на скорость и цену.
Дополнительные размышления расходуют контекст и требуют времени, поэтому рассуждающая модель не всегда лучший выбор для простого чата или коротких ответов. Сравнивая модели, проверьте, была ли оценка бенчмарка измерена с включёнными размышлениями.
Связанные термины
- Токен Токен — это небольшой кусок текста, часто слово или часть слова, который языковая модель читает и пишет; модели измеряют длину и скорость в токенах.
- Контекстное окно Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.
- ИИ-агент ИИ-агент — это система, в которой модель планирует и выполняет многошаговые задачи, вызывая инструменты: например, запуская код, ища в интернете или редактируя файлы.