ExLlamaV3

CUDA-Inferenzbibliothek für Consumer-GPUs mit eigener EXL3-Quantisierung, Tensor-Parallelität und CPU-Offloading für MoE-Modelle.

  • Bibliotheken
  • MIT · Open Source
  • Windows, Linux
  • Verifiziert

ExLlamaV3 ist eine Inferenzbibliothek, um lokale LLMs auf modernen Consumer-GPUs laufen zu lassen. Zu den Funktionen gehören die auf QTIP basierende EXL3-Quantisierung samt Cache-Quantisierung von 2 bis 8 Bit, flexible Inferenz mit Tensor- und Expert-Parallelität sowie CPU-Offloading, mit dem große Mixture-of-Experts-Modelle mit wenig GPU-Speicher laufen, mit AVX2- und AVX512-Unterstützung. Für die Generierung bietet es Continuous Dynamic Batching, Speculative Decoding und multimodale Unterstützung.

Für einen OpenAI-kompatiblen Server nennt das README TabbyAPI als offizielles und empfohlenes Backend, und es gibt auch ein Plugin für Transformers. Die Installation braucht PyTorch mit CUDA 12.4 oder neuer, also eine NVIDIA-GPU. Vorkompilierte Wheels gibt es auf der Releases-Seite, während das PyPI-Paket keine vorkompilierte Erweiterung enthält und das CUDA-Toolkit plus einen Compiler verlangt.

Die Lizenz ist MIT. EXL3 ist das eigene Gewichtungsformat dieser Bibliothek und nicht GGUF, und das README erklärt, wie Sie ein Modell selbst quantisieren. Es ist eine Bibliothek, keine Chat-App; kombinieren Sie sie mit TabbyAPI oder einem anderen Frontend.

Geeignet für

  • Große Modelle mit feiner Quantisierung auf eine oder wenige NVIDIA-Consumer-GPUs passen
  • Schnelles lokales Serving über TabbyAPI
  • Große Mixture-of-Experts-Modelle mit CPU-Offload laufen lassen

Darauf achten

  • Es braucht eine NVIDIA-GPU mit CUDA 12.4 oder neuer und ein passendes PyTorch
  • Das PyPI-Paket wird aus dem Quellcode gebaut; nehmen Sie einen vorkompilierten Wheel, außer Sie haben das CUDA-Toolkit und einen Compiler
  • EXL3-Gewichte sind ein eigenes Format neben GGUF; llama.cpp kann sie nicht laden

Links