Дистилляция
Дистилляция обучает меньшую «ученическую» модель подражать большей «учительской», сохраняя большую часть её способностей при малой доле размера.
Ученик учится не на сырых данных, а на выходах учителя. Именно так многие компактные модели достигают сильных результатов; метод применяют и для ускорения моделей изображений: дистиллированному FLUX Klein нужно гораздо меньше шагов сэмплирования, чем недистиллированной версии Base.
Некоторые лицензии ограничивают использование выходов модели для обучения другой модели, поэтому проверьте условия, прежде чем дистиллировать открытую модель в свою.
Связанные термины
- Дообучение (fine-tuning) Дообучение продолжает обучение предобученной модели на ваших собственных примерах, чтобы она лучше работала в конкретной задаче, стиле или предметной области.
- Параметры Параметры — это числа внутри модели, которые настраиваются во время обучения; их количество, например 7B или 70B, — привычная мера размера модели.