Modelo de difusão
Um modelo de difusão gera imagens ou vídeo partindo de ruído aleatório e removendo o ruído passo a passo até que uma imagem apareça.
A maioria dos geradores abertos de imagem e vídeo, incluindo FLUX, Qwen-Image, Wan e LTX, são modelos de difusão, frequentemente construídos sobre a arquitetura transformer. Um codificador de texto transforma o seu prompt em números que guiam cada passo de denoising.
Versões destiladas são treinadas para precisar de menos passos. O FLUX 3 Image Klein, por exemplo, roda em 16 passos, enquanto a versão Base leva 50 e é destinada ao fine-tuning. Menos passos significa imagens mais rápidas, geralmente com um pequeno custo em flexibilidade.
Termos relacionados
- Modelo multimodal Um modelo multimodal pode lidar com mais de um tipo de dados, como texto, imagens, áudio ou vídeo, como entrada, como saída ou ambos.
- Destilação A destilação treina um modelo estudante menor para imitar um modelo professor maior, mantendo grande parte da capacidade dele com uma fração do tamanho.
- LoRA (adaptação de baixo posto) LoRA, sigla de low-rank adaptation, ajusta um modelo treinando um pequeno conjunto de pesos adicionais em vez de mudar todos os seus parâmetros.