Fine-tuning (ajustement fin)

Le fine-tuning poursuit l'entraînement d'un modèle pré-entraîné sur vos propres exemples pour qu'il se comporte mieux sur une tâche, un style ou un domaine précis.

  • Utiliser les modèles
  • Mis à jour le

Plutôt que d'entraîner un modèle from scratch, vous partez d'un modèle ouvert et l'ajustez avec un jeu de données bien plus petit, par exemple vos tickets de support ou un style d'écriture particulier. Des méthodes comme LoRA ne mettent à jour qu'un petit ensemble de poids supplémentaires, ce qui rend le fine-tuning possible sur un seul GPU.

Si vous avez le droit d'ajuster un modèle et de partager le résultat dépend de sa licence. Les licences permissives comme Apache 2.0 l'autorisent, tandis que d'autres ajoutent des conditions telles que des exigences de nommage ou des plafonds de revenus. Le fine-tuning demande aussi plus de mémoire que l'inférence, car l'entraînement stocke des données supplémentaires pour chaque paramètre.

Termes associés

  • LoRA (adaptation de bas rang) LoRA, sigle de low-rank adaptation, ajuste un modèle en entraînant un petit ensemble de poids ajoutés au lieu de modifier tous ses paramètres.
  • Distillation La distillation entraîne un modèle élève plus petit à imiter un modèle professeur plus grand, en conservant une grande partie de ses capacités pour une fraction de sa taille.
  • Poids ouverts (open weights) Un modèle à poids ouverts est un modèle d'IA dont les paramètres entraînés, appelés poids, sont publiés afin que chacun puisse le télécharger et l'exécuter, généralement sous une licence qui fixe les conditions d'utilisation.

Tous les termes