Distillation

La distillation entraîne un modèle élève plus petit à imiter un modèle professeur plus grand, en conservant une grande partie de ses capacités pour une fraction de sa taille.

  • Modèles et architecture
  • Mis à jour le

L'élève apprend à partir des sorties du professeur plutôt qu'à partir des seules données brutes. C'est ainsi que de nombreux modèles compacts obtiennent d'excellents résultats, et la technique sert aussi à accélérer les modèles d'image : le FLUX Klein distillé a besoin de bien moins d'étapes d'échantillonnage que sa version Base non distillée.

Certaines licences restreignent l'utilisation des sorties d'un modèle pour entraîner un autre modèle ; vérifiez donc les conditions avant de distiller un modèle ouvert vers votre propre modèle.

Termes associés

  • Fine-tuning (ajustement fin) Le fine-tuning poursuit l'entraînement d'un modèle pré-entraîné sur vos propres exemples pour qu'il se comporte mieux sur une tâche, un style ou un domaine précis.
  • Paramètres Les paramètres sont les nombres à l'intérieur d'un modèle qui sont ajustés pendant l'entraînement ; leur compte, comme 7B ou 70B, est la mesure habituelle de la taille d'un modèle.

Tous les termes