Quantification

La quantification stocke les poids d'un modèle avec moins de bits, par exemple 4 au lieu de 16, pour réduire la mémoire et accélérer l'inférence, au prix d'une petite perte de qualité.

  • Matériel et mémoire
  • Mis à jour le

Un poids 16 bits occupe 2 octets, et un poids 4 bits environ un demi-octet. Quantifier un modèle du 16 bits au 4 bits le réduit donc à environ un quart de sa taille, ce qui fait souvent la différence entre devoir recourir à un serveur et tenir sur une GPU de gaming.

Les formats courants comprennent FP8, INT8 et INT4, plus des formats flottants 4 bits plus récents comme MXFP4 et NVFP4. Le format GGUF utilisé par llama.cpp prend en charge de nombreux niveaux de quantification. Moins il y a de bits, plus le risque de perdre en qualité est grand, surtout dans les petits modèles ; testez donc au niveau que vous comptez utiliser.

Termes associés

  • Précision (BF16, FP8, INT4) La précision est le nombre de bits utilisés pour stocker chaque nombre dans un modèle, comme le BF16 16 bits, le FP8 8 bits ou l'INT4 4 bits ; moins de bits signifient un modèle plus petit et plus rapide.
  • GGUF GGUF est un format de modèle en fichier unique utilisé par llama.cpp et les outils construits dessus, qui regroupe les poids quantisés avec les informations nécessaires à leur exécution.
  • VRAM La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.

Tous les termes