Бенчмарк (Benchmark)

Бенчмарк — это стандартизированный тест для сравнения моделей, например набор задач по математике, программированию или знаниям; оценки полезны, но им легко придать слишком большое значение.

  • Использование моделей
  • Обновлено

Разработчики публикуют результаты бенчмарков в своих анонсах, а независимые группы проводят собственные тесты или собирают голоса людей на аренах. Оценка, сообщённая разработчиком, — это самоотчёт, и настройки за ней часто подобраны так, чтобы показать модель в лучшем виде.

Бенчмарки могут быть загрязнены, если тестовые вопросы просачиваются в обучающие данные, а высокая оценка не гарантирует, что модель подойдёт для вашей задачи. Этот сайт помечает цифры, сообщённые разработчиками, как таковые и рекомендует проверить короткий список моделей на собственных примерах.

Связанные термины

  • Рассуждающая модель (reasoning model) Рассуждающая модель прорабатывает задачу шаг за шагом в фазе «размышления», видимой или скрытой, прежде чем дать окончательный ответ.
  • ИИ-агент ИИ-агент — это система, в которой модель планирует и выполняет многошаговые задачи, вызывая инструменты: например, запуская код, ища в интернете или редактируя файлы.
  • Галлюцинация Галлюцинация — это уверенно звучащее, но ложное или выдуманное утверждение, выданное ИИ-моделью.

Все термины