ExLlamaV3

Biblioteca de inferencia CUDA para GPUs de consumo: cuantización EXL3 propia, paralelismo de tensores y offload a CPU para modelos MoE.

  • Bibliotecas
  • MIT · Código abierto
  • Windows, Linux
  • Verificado

ExLlamaV3 es una biblioteca de inferencia para ejecutar LLMs locales en GPUs de consumo modernas. Sus características incluyen la cuantización EXL3, basada en QTIP, junto con cuantización de caché de 2 a 8 bits, inferencia flexible con paralelismo de tensores y de expertos, y offloading a CPU que permite ejecutar grandes modelos de mezcla de expertos con poca memoria de GPU, con soporte de AVX2 y AVX512. Para la generación ofrece batching dinámico continuo, decodificación especulativa y soporte multimodal.

Para un servidor compatible con OpenAI, el README señala TabbyAPI como backend oficial y recomendado, y también existe un plugin para Transformers. La instalación necesita PyTorch con CUDA 12.4 o posterior, lo que implica una GPU NVIDIA. Hay wheels precompilados en la página de releases, mientras que el paquete de PyPI no incluye la extensión precompilada y necesita el toolkit de CUDA y un compilador.

La licencia es MIT. EXL3 es el formato de pesos propio de esta biblioteca y no es GGUF, y el README explica cómo cuantizar un modelo por tu cuenta. Es una biblioteca, no una app de chat, así que combínala con TabbyAPI u otro front end.

Ideal para

  • Meter modelos grandes en una o pocas GPUs NVIDIA de consumo con cuantización de grano fino
  • Servir en local con rapidez a través de TabbyAPI
  • Ejecutar grandes modelos de mezcla de expertos con offload a CPU

A tener en cuenta

  • Necesita una GPU NVIDIA con CUDA 12.4 o posterior y un PyTorch acorde
  • El paquete de PyPI se compila desde el código fuente: usa un wheel precompilado salvo que tengas el toolkit de CUDA y un compilador
  • Los pesos EXL3 son un formato aparte de GGUF, así que llama.cpp no puede cargarlos

Enlaces