Diffusers

A biblioteca de Python da Hugging Face para executar e treinar modelos de difusão de imagem, vídeo e áudio.

  • Bibliotecas
  • Apache 2.0 · Código aberto
  • macOS, Windows, Linux
  • Verificado

O Diffusers é a biblioteca da Hugging Face para modelos de difusão pré-treinados. Ele oferece três partes centrais: pipelines prontos para uso que geram resultados em poucas linhas de código, noise schedulers intercambiáveis que equilibram velocidade e qualidade, e componentes de modelo pré-treinados que você pode combinar em seus próprios sistemas. O README diz que o Hub tem mais de 30.000 checkpoints compatíveis com o Diffusers.

Você instala com pip install diffusers[torch], carrega um modelo com DiffusionPipeline.from_pretrained e o move para a GPU. O Apple Silicon é suportado pelo backend MPS do PyTorch, e a documentação tem um guia para isso. Os model cards de modelos de imagem e vídeo costumam trazer um trecho de Diffusers, então é uma forma comum de reproduzir o exemplo do próprio desenvolvedor.

A licença é Apache 2.0. É código para desenvolvedores, não um aplicativo pronto, então para uso com cliques veja o ComfyUI. Os modelos de imagem e vídeo são grandes, então confira as necessidades de memória na página de cada modelo.

Bom para

  • Criar recursos de geração de imagem ou vídeo em Python
  • Fine-tuning ou treinamento de LoRA de modelos de difusão
  • Reproduzir o exemplo de um model card
  • Experimentar diferentes schedulers para equilibrar velocidade e qualidade

Pontos de atenção

  • É uma biblioteca: você escreve o código ou usa outra ferramenta como interface
  • Os modelos são grandes e a memória necessária está na página de cada modelo
  • Verifique no model card a versão do Diffusers que ele precisa, pois modelos novos exigem versões recentes da biblioteca

Links