LoRA (низкоранговая адаптация)

LoRA, сокращение от low-rank adaptation, дообучает модель, тренируя небольшой набор добавленных весов вместо изменения всех её параметров.

  • Использование моделей
  • Обновлено

Адаптер LoRA обычно весит десятки или сотни мегабайт, а базовая модель остаётся неизменной. Поскольку обучается только маленький адаптер, дообучение требует куда меньше памяти GPU, и одна базовая модель может сочетаться со множеством адаптеров.

Генераторы изображений активно используют LoRA: несколько картинок могут научить стилю или персонажу, а адаптер загружается рядом с базовой моделью. Варианты, обучаемые поверх квантованной базовой модели, например QLoRA, сокращают потребность в памяти ещё сильнее.

Связанные термины

  • Дообучение (fine-tuning) Дообучение продолжает обучение предобученной модели на ваших собственных примерах, чтобы она лучше работала в конкретной задаче, стиле или предметной области.
  • Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.

Все термины