LoRA (adaptation de bas rang)

LoRA, sigle de low-rank adaptation, ajuste un modèle en entraînant un petit ensemble de poids ajoutés au lieu de modifier tous ses paramètres.

  • Utiliser les modèles
  • Mis à jour le

Un adaptateur LoRA pèse typiquement quelques dizaines ou centaines de mégaoctets, tandis que le modèle de base reste inchangé. Comme seul le petit adaptateur est entraîné, le fine-tuning demande beaucoup moins de mémoire GPU, et un même modèle de base peut être associé à de nombreux adaptateurs.

Les générateurs d'images font grand usage des LoRA : une poignée d'images peut enseigner un style ou un personnage, et l'adaptateur est chargé à côté du modèle de base. Des variantes qui s'entraînent sur un modèle de base quantifié, comme QLoRA, réduisent encore la mémoire nécessaire.

Termes associés

  • Fine-tuning (ajustement fin) Le fine-tuning poursuit l'entraînement d'un modèle pré-entraîné sur vos propres exemples pour qu'il se comporte mieux sur une tâche, un style ou un domaine précis.
  • Quantification La quantification stocke les poids d'un modèle avec moins de bits, par exemple 4 au lieu de 16, pour réduire la mémoire et accélérer l'inférence, au prix d'une petite perte de qualité.

Tous les termes