Poids ternaires (1,58 bits)

Les poids ternaires limitent chaque poids du modèle à l'une des trois valeurs -1, 0 ou +1, si bien qu'un modèle a besoin de moins de 2 bits par poids au lieu de 16.

  • Matériel et mémoire
  • Mis à jour le

Trois valeurs portent log2(3), soit environ 1,58 bits d'information, c'est pourquoi les modèles ternaires sont souvent appelés modèles 1,58 bits. Les fichiers réels en demandent un peu plus, car chaque groupe de poids stocke aussi un facteur d'échelle. Le Ternary Bonsai 2 de PrismML utilise une échelle de 16 bits pour 128 poids, ce qui revient à environ 1,7 bits par poids et réduit le modèle à environ un neuvième de sa taille en 16 bits.

Les poids ternaires sont une forme extrême de quantization. La qualité baisse, davantage pour les petits modèles que pour les grands, et les fichiers exigent généralement un runtime spécial : les empaquetages les plus compacts de Ternary Bonsai 2 fonctionnent sur le fork de llama.cpp de PrismML. Notre calculateur de VRAM compte les fichiers ternaires à 0,22 octet par paramètre.

Termes associés

  • Quantification La quantification stocke les poids d'un modèle avec moins de bits, par exemple 4 au lieu de 16, pour réduire la mémoire et accélérer l'inférence, au prix d'une petite perte de qualité.
  • Précision (BF16, FP8, INT4) La précision est le nombre de bits utilisés pour stocker chaque nombre dans un modèle, comme le BF16 16 bits, le FP8 8 bits ou l'INT4 4 bits ; moins de bits signifient un modèle plus petit et plus rapide.
  • GGUF GGUF est un format de modèle en fichier unique utilisé par llama.cpp et les outils construits dessus, qui regroupe les poids quantisés avec les informations nécessaires à leur exécution.

Tous les termes