GGUF
GGUF est un format de modèle en fichier unique utilisé par llama.cpp et les outils construits dessus, qui regroupe les poids quantisés avec les informations nécessaires à leur exécution.
Un fichier GGUF contient les poids du modèle, généralement quantisés, ainsi que son tokenizer et ses réglages : un seul fichier suffit donc pour l'exécuter. Des noms comme Q4_K_M indiquent le niveau de quantification.
llama.cpp et les outils construits dessus, comme LM Studio, lisent les fichiers GGUF, et Unsloth peut exporter vers ce format. Beaucoup sont publiés sur Hugging Face par le développeur du modèle ou par des membres de la communauté. La licence du modèle d'origine s'applique toujours à un GGUF créé à partir de lui : vérifiez-la avant toute utilisation commerciale du fichier.
Termes associés
- Quantification La quantification stocke les poids d'un modèle avec moins de bits, par exemple 4 au lieu de 16, pour réduire la mémoire et accélérer l'inférence, au prix d'une petite perte de qualité.
- VRAM La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.