Entraînement prenant en compte la quantification (QAT)
L'entraînement prenant en compte la quantification apprend à un modèle à travailler avec des poids basse précision pendant qu'il s'entraîne encore, de sorte qu'il perd moins de qualité en 4 bits qu'un modèle comprimé après coup.
La quantification ordinaire convertit un modèle 16 bits achevé vers moins de bits, et la perte de qualité augmente à mesure que les bits diminuent. Dans le QAT, la basse précision fait partie de l'entraînement, donc les poids s'y adaptent. Nanbeige4.3-33B-INT4 a été construit ainsi, avec distillation depuis le modèle BF16 et apprentissage par renforcement sur le modèle INT4 lui-même ; le résultat fait environ 23 GB, bien que la fiche du modèle ne donne aucun score pour lui.
Certains développeurs publient désormais des poids basse précision comme version principale. Moonshot livre Kimi K2.7 Code nativement en INT4, soit environ 595 GB, et MiniMax M3.1 Flash est publié déjà compressé à environ 4 bits. Il est généralement plus sûr de commencer par les fichiers basse précision du développeur lui-même et de les tester sur vos propres tâches avant de faire confiance à une conversion tierce.
Termes associés
- Quantification La quantification stocke les poids d'un modèle avec moins de bits, par exemple 4 au lieu de 16, pour réduire la mémoire et accélérer l'inférence, au prix d'une petite perte de qualité.
- Précision (BF16, FP8, INT4) La précision est le nombre de bits utilisés pour stocker chaque nombre dans un modèle, comme le BF16 16 bits, le FP8 8 bits ou l'INT4 4 bits ; moins de bits signifient un modèle plus petit et plus rapide.
- Distillation La distillation entraîne un modèle élève plus petit à imiter un modèle professeur plus grand, en conservant une grande partie de ses capacités pour une fraction de sa taille.
- Apprentissage par renforcement (RL) L'apprentissage par renforcement entraîne un modèle en récompensant les bons résultats, comme une réponse correcte ou des tests réussis, au lieu de copier un texte d'exemple.