Diffusers
La biblioteca de Python de Hugging Face para ejecutar y entrenar modelos de difusión de imagen, vídeo y audio.
Diffusers es la biblioteca de Hugging Face para modelos de difusión preentrenados. Ofrece tres partes centrales: pipelines listos para usar que generan resultados en unas pocas líneas de código, schedulers de ruido intercambiables que equilibran velocidad frente a calidad, y componentes de modelo preentrenados que puedes combinar en tus propios sistemas. El README dice que el Hub contiene más de 30.000 checkpoints compatibles con Diffusers.
Se instala con pip install diffusers[torch], se carga un modelo con DiffusionPipeline.from_pretrained y se mueve a la GPU. Apple Silicon es compatible a través del backend MPS de PyTorch, y la documentación tiene una guía para ello. Las tarjetas de modelo de modelos de imagen y vídeo suelen mostrar un fragmento de Diffusers, así que es una forma habitual de reproducir el ejemplo del propio desarrollador.
La licencia es Apache 2.0. Es código para desarrolladores, no una aplicación lista para usar, así que para un uso de clics mira ComfyUI. Los modelos de imagen y vídeo son grandes, así que revisa las necesidades de memoria en la página de cada modelo.
Ideal para
- Crear funciones de generación de imagen o vídeo en Python
- Fine-tuning o entrenamiento de LoRA de modelos de difusión
- Reproducir el ejemplo de una tarjeta de modelo
- Probar distintos schedulers para equilibrar velocidad y calidad
A tener en cuenta
- Es una biblioteca: escribes el código o usas otra herramienta como interfaz
- Los modelos son grandes y la memoria necesaria está en cada página de modelo
- Consulta en la tarjeta del modelo la versión de Diffusers que necesita, porque los modelos nuevos exigen versiones recientes de la biblioteca