ExLlamaV3
Biblioteca de inferência CUDA para GPUs de consumo, com quantização EXL3, paralelismo de tensores e offload para CPU em modelos MoE.
O ExLlamaV3 é uma biblioteca de inferência para rodar LLMs locais em GPUs de consumo modernas. Seus recursos incluem a quantização EXL3, baseada no QTIP, junto com quantização de cache de 2 a 8 bits, inferência flexível com paralelismo de tensores e de especialistas, e offload para CPU que permite rodar grandes modelos de mistura de especialistas com pouca memória de GPU, com suporte a AVX2 e AVX512. Para geração, oferece batching dinâmico contínuo, decodificação especulativa e suporte multimodal.
Para um servidor compatível com OpenAI, o README aponta o TabbyAPI como backend oficial e recomendado, e também há um plugin para Transformers. A instalação precisa de PyTorch com CUDA 12.4 ou mais recente, o que significa uma GPU NVIDIA. Wheels pré-compilados ficam na página de releases, enquanto o pacote do PyPI não contém a extensão pré-compilada e precisa do CUDA toolkit e de um compilador.
A licença é MIT. O EXL3 é o formato de pesos próprio desta biblioteca e não é GGUF, e o README explica como quantizar um modelo por conta própria. É uma biblioteca, não um app de chat, então combine com o TabbyAPI ou outro front end.
Bom para
- Colocar modelos grandes em uma ou poucas GPUs NVIDIA de consumo com quantização fina
- Servir rápido em local pelo TabbyAPI
- Rodar grandes modelos de mistura de especialistas com offload para CPU
Pontos de atenção
- Precisa de uma GPU NVIDIA com CUDA 12.4 ou mais recente e um PyTorch correspondente
- O pacote do PyPI compila do código-fonte, então use um wheel pré-compilado a menos que tenha o CUDA toolkit e um compilador
- Os pesos EXL3 são um formato separado do GGUF, então o llama.cpp não consegue carregá-los