Précision (BF16, FP8, INT4)
La précision est le nombre de bits utilisés pour stocker chaque nombre dans un modèle, comme le BF16 16 bits, le FP8 8 bits ou l'INT4 4 bits ; moins de bits signifient un modèle plus petit et plus rapide.
Les modèles sont généralement entraînés dans des formats 16 bits comme le BF16. Une publication peut aussi être proposée à une précision inférieure : FP8 et INT8 utilisent un octet par poids, et INT4 et FP4 un demi-octet. Un modèle de 30B pèse environ 60 GB en BF16, 30 GB en FP8 et 15 GB en 4 bits, hors surcoûts.
Chaque page de modèle sur ce site indique la précision de chaque variante publiée, et son tableau de mémoire estime les besoins en BF16, FP8 et 4 bits.
Termes associés
- Quantification La quantification stocke les poids d'un modèle avec moins de bits, par exemple 4 au lieu de 16, pour réduire la mémoire et accélérer l'inférence, au prix d'une petite perte de qualité.
- VRAM La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.