Диффузионная модель

Диффузионная модель генерирует изображения или видео, стартуя со случайного шума и убирая шум шаг за шагом, пока не проявится картинка.

  • Модели и архитектура
  • Обновлено

Большинство открытых генераторов изображений и видео, включая FLUX, Qwen-Image, Wan и LTX, — диффузионные модели, часто построенные на архитектуре transformer. Текстовый кодировщик превращает ваш промпт в числа, которые направляют каждый шаг денойзинга.

Дистиллированные версии обучены обходиться меньшим числом шагов. Например, FLUX 3 Image Klein работает за 16 шагов, тогда как его Base-версия требует 50 и предназначена для дообучения. Меньше шагов — быстрее картинка, обычно ценой небольшой потери гибкости.

Связанные термины

  • Мультимодальная модель Мультимодальная модель умеет работать более чем с одним типом данных — текстом, изображениями, аудио или видео — на входе, на выходе или и там и там.
  • Дистилляция Дистилляция обучает меньшую «ученическую» модель подражать большей «учительской», сохраняя большую часть её способностей при малой доле размера.
  • LoRA (низкоранговая адаптация) LoRA, сокращение от low-rank adaptation, дообучает модель, тренируя небольшой набор добавленных весов вместо изменения всех её параметров.

Все термины