ExLlamaV3

Bibliothèque d'inférence CUDA pour GPU grand public : quantification EXL3, parallélisme de tenseurs et offload CPU pour les modèles MoE.

  • Bibliothèques
  • MIT · Open source
  • Windows, Linux
  • Vérifié le

ExLlamaV3 est une bibliothèque d'inférence pour faire tourner des LLM locaux sur des GPU grand public récents. Ses fonctions incluent la quantification EXL3, basée sur QTIP, avec quantification du cache de 2 à 8 bits, une inférence flexible en parallélisme de tenseurs et d'experts, et un offload CPU qui permet de faire tourner de grands modèles à mélange d'experts avec peu de mémoire GPU, avec prise en charge AVX2 et AVX512. Pour la génération, il offre du batching dynamique continu, du décodage spéculatif et le support multimodal.

Pour un serveur compatible OpenAI, le README désigne TabbyAPI comme backend officiel et recommandé, et il existe aussi un plugin pour Transformers. L'installation exige PyTorch avec CUDA 12.4 ou plus récent, donc une GPU NVIDIA. Des wheels précompilés sont sur la page des releases, tandis que le paquet PyPI ne contient pas l'extension précompilée et exige le toolkit CUDA et un compilateur.

La licence est MIT. EXL3 est le format de poids propre à cette bibliothèque et non le GGUF, et le README explique comment quantifier un modèle soi-même. C'est une bibliothèque, pas une app de chat : associez-la à TabbyAPI ou à un autre front end.

Idéal pour

  • Faire tenir de grands modèles sur un ou quelques GPU NVIDIA grand public grâce à une quantification fine
  • Servir rapidement en local via TabbyAPI
  • Faire tourner de grands modèles à mélange d'experts avec l'offload CPU

Points d’attention

  • Il faut une GPU NVIDIA avec CUDA 12.4 ou plus récent et un PyTorch assorti
  • Le paquet PyPI se compile depuis les sources : utilisez un wheel précompilé sauf si vous avez le toolkit CUDA et un compilateur
  • Les poids EXL3 sont un format distinct du GGUF : llama.cpp ne peut pas les charger

Liens