ExLlamaV3

Biblioteca de inferência CUDA para GPUs de consumo, com quantização EXL3, paralelismo de tensores e offload para CPU em modelos MoE.

  • Bibliotecas
  • MIT · Código aberto
  • Windows, Linux
  • Verificado

O ExLlamaV3 é uma biblioteca de inferência para rodar LLMs locais em GPUs de consumo modernas. Seus recursos incluem a quantização EXL3, baseada no QTIP, junto com quantização de cache de 2 a 8 bits, inferência flexível com paralelismo de tensores e de especialistas, e offload para CPU que permite rodar grandes modelos de mistura de especialistas com pouca memória de GPU, com suporte a AVX2 e AVX512. Para geração, oferece batching dinâmico contínuo, decodificação especulativa e suporte multimodal.

Para um servidor compatível com OpenAI, o README aponta o TabbyAPI como backend oficial e recomendado, e também há um plugin para Transformers. A instalação precisa de PyTorch com CUDA 12.4 ou mais recente, o que significa uma GPU NVIDIA. Wheels pré-compilados ficam na página de releases, enquanto o pacote do PyPI não contém a extensão pré-compilada e precisa do CUDA toolkit e de um compilador.

A licença é MIT. O EXL3 é o formato de pesos próprio desta biblioteca e não é GGUF, e o README explica como quantizar um modelo por conta própria. É uma biblioteca, não um app de chat, então combine com o TabbyAPI ou outro front end.

Bom para

  • Colocar modelos grandes em uma ou poucas GPUs NVIDIA de consumo com quantização fina
  • Servir rápido em local pelo TabbyAPI
  • Rodar grandes modelos de mistura de especialistas com offload para CPU

Pontos de atenção

  • Precisa de uma GPU NVIDIA com CUDA 12.4 ou mais recente e um PyTorch correspondente
  • O pacote do PyPI compila do código-fonte, então use um wheel pré-compilado a menos que tenha o CUDA toolkit e um compilador
  • Os pesos EXL3 são um formato separado do GGUF, então o llama.cpp não consegue carregá-los

Links