Бенчмарк (Benchmark)
Бенчмарк — это стандартизированный тест для сравнения моделей, например набор задач по математике, программированию или знаниям; оценки полезны, но им легко придать слишком большое значение.
Разработчики публикуют результаты бенчмарков в своих анонсах, а независимые группы проводят собственные тесты или собирают голоса людей на аренах. Оценка, сообщённая разработчиком, — это самоотчёт, и настройки за ней часто подобраны так, чтобы показать модель в лучшем виде.
Бенчмарки могут быть загрязнены, если тестовые вопросы просачиваются в обучающие данные, а высокая оценка не гарантирует, что модель подойдёт для вашей задачи. Этот сайт помечает цифры, сообщённые разработчиками, как таковые и рекомендует проверить короткий список моделей на собственных примерах.
Связанные термины
- Рассуждающая модель (reasoning model) Рассуждающая модель прорабатывает задачу шаг за шагом в фазе «размышления», видимой или скрытой, прежде чем дать окончательный ответ.
- ИИ-агент ИИ-агент — это система, в которой модель планирует и выполняет многошаговые задачи, вызывая инструменты: например, запуская код, ища в интернете или редактируя файлы.
- Галлюцинация Галлюцинация — это уверенно звучащее, но ложное или выдуманное утверждение, выданное ИИ-моделью.