Обучение с учётом квантования (QAT)

Обучение с учётом квантования приучает модель работать с низкоточными весами ещё на этапе обучения, поэтому при 4 битах она теряет меньше качества, чем модель, сжатая постфактум.

  • Оборудование и память
  • Обновлено

Обычное квантование переводит готовую 16-битную модель в меньшее число бит, и потеря качества растёт по мере уменьшения бит. В QAT низкая точность является частью обучения, поэтому веса к ней приспосабливаются. Nanbeige4.3-33B-INT4 был создан именно так — с дистилляцией из BF16-модели и обучением с подкреплением на самой INT4-модели; результат весит около 23 ГБ, хотя в карточке модели для него нет оценок.

Некоторые разработчики теперь публикуют низкоточные веса как основной выпуск. Moonshot поставляет Kimi K2.7 Code в нативном INT4 объёмом около 595 ГБ, а MiniMax M3.1 Flash выпускается уже сжатым примерно до 4 бит. Обычно безопаснее начинать с собственных низкоточных файлов разработчика и проверять их на своих задачах, прежде чем доверять стороннему преобразованию.

Связанные термины

  • Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.
  • Точность (BF16, FP8, INT4) Точность — это сколько бит используется для хранения каждого числа в модели, например 16-битный BF16, 8-битный FP8 или 4-битный INT4; меньше бит — меньше и быстрее модель.
  • Дистилляция Дистилляция обучает меньшую «ученическую» модель подражать большей «учительской», сохраняя большую часть её способностей при малой доле размера.
  • Обучение с подкреплением (RL) Обучение с подкреплением тренирует модель, вознаграждая хорошие результаты, например правильный ответ или прохождение тестов, вместо копирования примеров текста.

Все термины