AI Toolkit
La suite tout-en-un d'Ostris pour les modèles de diffusion d'image, vidéo et audio, avec interface web et ligne de commande.
AI Toolkit est une suite d'entraînement tout-en-un pour modèles de diffusion, maintenue par Ostris. Son auteur indique qu'elle vise à prendre en charge les derniers modèles d'image et de vidéo sur du matériel grand public, et elle s'utilise aussi bien via une interface web qu'en ligne de commande. L'interface sur le port 8675 de localhost lance, arrête et surveille les tâches d'entraînement, et peut être protégée par un jeton d'authentification. Les tâches continuent de tourner sans l'interface.
Sa liste de modèles pris en charge est longue. Le README mentionne FLUX.1, FLUX.2 et FLUX.3 Image Klein, Qwen-Image 2.1, Z-Image, Krea 2, HiDream O1, Ideogram 4 en FP8, Ming-Image, MOSS-Image et FIBO 2 pour les images, plus des variantes d'édition par instruction, Wan 2.1 et 2.2, LTX-2.5 et MiniMax H3 pour la vidéo, et ACE-Step 1.5 et YuE2 pour l'audio. Plusieurs de ces modèles sont sortis ces derniers mois.
L'installation recommandée passe par son AI Toolkit Manager intégré, qui détecte votre matériel, met en place la version de PyTorch adaptée et garde tout dans le dossier. Le gestionnaire reste marqué comme expérimental, et le script pour Mac est étiqueté Apple Silicon, expérimental. Les instructions manuelles exigent un GPU Nvidia avec assez de mémoire pour le modèle entraîné.
Idéal pour
- Entraîner des LoRA pour les nouveaux modèles ouverts d'image et de vidéo via une interface en quelques clics
- Lancer la même tâche d'entraînement par script sur un serveur sans interface graphique
- Suivre les modèles que les outils d'entraînement plus anciens ne prennent pas encore en charge
Points d’attention
- L'installation manuelle nécessite un GPU Nvidia, et le support Mac via le gestionnaire est expérimental
- Les besoins en mémoire dépendent du modèle et des réglages : consultez les notes du README pour chaque modèle avant de commencer
- Respectez la licence du modèle de base et de vos données d'entraînement, car la licence MIT ne couvre que le toolkit