Diffusionsmodell
Ein Diffusionsmodell erzeugt Bilder oder Videos, indem es von zufälligem Rauschen ausgeht und das Rauschen Schritt für Schritt entfernt, bis ein Bild entsteht.
Die meisten offenen Bild- und Videogeneratoren, darunter FLUX, Qwen-Image, Wan und LTX, sind Diffusionsmodelle, oft auf der Transformer-Architektur aufgebaut. Ein Text-Encoder wandelt Ihren Prompt in Zahlen um, die jeden Denoising-Schritt lenken.
Destillierte Versionen sind darauf trainiert, weniger Schritte zu brauchen. FLUX 3 Image Klein läuft beispielsweise in 16 Schritten, während die Base-Version 50 braucht und fürs Fine-Tuning gedacht ist. Weniger Schritte bedeutet schnellere Bilder, meistens bei einem kleinen Verlust an Flexibilität.
Verwandte Begriffe
- Multimodales Modell Ein multimodales Modell kann mehr als eine Art von Daten verarbeiten – etwa Text, Bilder, Audio oder Video – als Eingabe, als Ausgabe oder beides.
- Destillation Bei der Destillation wird ein kleineres Schülermodell darauf trainiert, ein größeres Lehrermodell nachzuahmen, und behält dabei bei einem Bruchteil der Größe einen Großteil dessen Fähigkeiten.
- LoRA (Low-Rank-Adaption) LoRA, kurz für Low-Rank Adaptation, feinjustiert ein Modell, indem es einen kleinen Satz hinzugefügter Gewichte trainiert, statt alle Parameter zu verändern.