Modèle de diffusion

Un modèle de diffusion génère des images ou des vidéos en partant d'un bruit aléatoire et en retirant le bruit étape par étape jusqu'à ce qu'une image apparaisse.

  • Modèles et architecture
  • Mis à jour le

La plupart des générateurs ouverts d'images et de vidéos, dont FLUX, Qwen-Image, Wan et LTX, sont des modèles de diffusion, souvent construits sur l'architecture transformer. Un encodeur de texte transforme votre prompt en nombres qui guident chaque étape de débruitage.

Les versions distillées sont entraînées pour nécessiter moins d'étapes. FLUX 3 Image Klein, par exemple, fonctionne en 16 étapes, tandis que sa version Base en prend 50 et est destinée au fine-tuning. Moins d'étapes signifie des images plus rapides, généralement au prix d'un léger manque de flexibilité.

Termes associés

  • Modèle multimodal Un modèle multimodal peut traiter plus d'un type de données, comme du texte, des images, de l'audio ou de la vidéo, en entrée, en sortie ou les deux.
  • Distillation La distillation entraîne un modèle élève plus petit à imiter un modèle professeur plus grand, en conservant une grande partie de ses capacités pour une fraction de sa taille.
  • LoRA (adaptation de bas rang) LoRA, sigle de low-rank adaptation, ajuste un modèle en entraînant un petit ensemble de poids ajoutés au lieu de modifier tous ses paramètres.

Tous les termes