Paramètres
Les paramètres sont les nombres à l'intérieur d'un modèle qui sont ajustés pendant l'entraînement ; leur compte, comme 7B ou 70B, est la mesure habituelle de la taille d'un modèle.
Un paramètre est un unique nombre appris, généralement un poids. Un modèle à 7 milliards de paramètres, écrit 7B, en stocke sept milliards. Plus de paramètres donnent en général à un modèle plus de capacité d'apprentissage, mais cela signifie aussi un téléchargement plus gros et plus de mémoire pour l'exécuter.
Le compte peut induire en erreur pour les modèles de mélange d'experts, qui indiquent un total et un chiffre actif plus petit, utilisé pour chaque token. Un modèle « 120B au total, 5B actifs » a besoin de mémoire pour le total mais ne calcule qu'avec la partie active. Le nombre de paramètres seul ne vous dit pas non plus la qualité : les données d'entraînement, la méthode d'entraînement et l'architecture comptent tout autant.
Termes associés
- Mélange d'experts (MoE) Un modèle à mélange d'experts contient de nombreux sous-réseaux spécialisés et n'en utilise que quelques-uns pour chaque token, si bien qu'il peut être très grand tout en restant rapide.
- VRAM La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.
- Quantification La quantification stocke les poids d'un modèle avec moins de bits, par exemple 4 au lieu de 16, pour réduire la mémoire et accélérer l'inférence, au prix d'une petite perte de qualité.