llama.cpp

Le moteur C/C++ derrière une grande partie de l'IA locale : exécute des modèles quantifiés sur presque tout matériel, avec un outil en ligne de commande et un serveur compatible OpenAI.

  • Exécution en local
  • MIT · Open source
  • macOS, Windows, Linux
  • Vérifié le

llama.cpp est un moteur d'inférence open source écrit en C/C++ pur, sans dépendances. Son objectif, selon ses propres termes, est d'exécuter des modèles de langage et vision-langage avec une configuration minimale et de bonnes performances sur une large gamme de matériel, en local comme dans le cloud. Le silicium d'Apple est une cible de premier plan, et il prend aussi en charge les CPU x86 avec AVX et AMX, les GPU NVIDIA via CUDA, les GPU AMD via HIP, ainsi que Vulkan, SYCL, Metal, OpenCL et d'autres backends.

Son principal atout est la quantification : les poids peuvent être stockés avec 1,5 à 8 bits par valeur, ce qui réduit la mémoire utilisée et accélère la génération, et l'inférence hybride CPU+GPU permet d'accélérer partiellement un modèle plus grand que votre mémoire vidéo. Les modèles sont distribués au format GGUF. La commande llama cli télécharge et exécute un modèle directement depuis Hugging Face avec -hf, et llama serve démarre un serveur d'API compatible OpenAI avec une interface web intégrée.

Beaucoup d'outils plus conviviaux s'appuient sur lui. LM Studio indique utiliser llama.cpp et MLX sous le capot, et Unsloth s'en sert pour exécuter et exporter des modèles. Si vous voulez le maximum de contrôle, la moindre surcharge, ou si vous devez exécuter un modèle sur un matériel atypique, utilisez llama.cpp directement.

Idéal pour

  • Exécuter des modèles sur CPU, GPU anciens, silicium Apple et autres matériels atypiques
  • Faire tenir un grand modèle dans une mémoire limitée avec une quantification de 2 à 6 bits
  • Monter un petit serveur local sans dépendances avec une API compatible OpenAI
  • Comprendre comment fonctionne réellement l'inférence locale

Points d’attention

  • C'est un outil en ligne de commande, donc la courbe d'apprentissage est plus raide qu'avec Ollama ou LM Studio
  • Une quantification plus forte économise la mémoire mais dégrade la qualité : testez votre tâche à la précision prévue
  • Le support d'une toute nouvelle architecture de modèle peut arriver après sa sortie

Liens