Дистилляция

Дистилляция обучает меньшую «ученическую» модель подражать большей «учительской», сохраняя большую часть её способностей при малой доле размера.

  • Модели и архитектура
  • Обновлено

Ученик учится не на сырых данных, а на выходах учителя. Именно так многие компактные модели достигают сильных результатов; метод применяют и для ускорения моделей изображений: дистиллированному FLUX Klein нужно гораздо меньше шагов сэмплирования, чем недистиллированной версии Base.

Некоторые лицензии ограничивают использование выходов модели для обучения другой модели, поэтому проверьте условия, прежде чем дистиллировать открытую модель в свою.

Связанные термины

  • Дообучение (fine-tuning) Дообучение продолжает обучение предобученной модели на ваших собственных примерах, чтобы она лучше работала в конкретной задаче, стиле или предметной области.
  • Параметры Параметры — это числа внутри модели, которые настраиваются во время обучения; их количество, например 7B или 70B, — привычная мера размера модели.

Все термины