Modelo de difusão

Um modelo de difusão gera imagens ou vídeo partindo de ruído aleatório e removendo o ruído passo a passo até que uma imagem apareça.

  • Modelos e arquitetura
  • Atualizado

A maioria dos geradores abertos de imagem e vídeo, incluindo FLUX, Qwen-Image, Wan e LTX, são modelos de difusão, frequentemente construídos sobre a arquitetura transformer. Um codificador de texto transforma o seu prompt em números que guiam cada passo de denoising.

Versões destiladas são treinadas para precisar de menos passos. O FLUX 3 Image Klein, por exemplo, roda em 16 passos, enquanto a versão Base leva 50 e é destinada ao fine-tuning. Menos passos significa imagens mais rápidas, geralmente com um pequeno custo em flexibilidade.

Termos relacionados

  • Modelo multimodal Um modelo multimodal pode lidar com mais de um tipo de dados, como texto, imagens, áudio ou vídeo, como entrada, como saída ou ambos.
  • Destilação A destilação treina um modelo estudante menor para imitar um modelo professor maior, mantendo grande parte da capacidade dele com uma fração do tamanho.
  • LoRA (adaptação de baixo posto) LoRA, sigla de low-rank adaptation, ajusta um modelo treinando um pequeno conjunto de pesos adicionais em vez de mudar todos os seus parâmetros.

Todos os termos