ExLlamaV3
面向消费级 GPU 的 CUDA 推理库,带自有的 EXL3 量化、张量并行和针对 MoE 模型的 CPU 卸载。
ExLlamaV3 是在现代消费级 GPU 上运行本地大模型的推理库。它的特性包括基于 QTIP 的 EXL3 量化,以及 2 到 8 位的缓存量化,灵活的张量并行和专家并行推理,以及让大型混合专家模型在有限 GPU 显存下运行的 CPU 卸载(支持 AVX2 和 AVX512)。生成方面,它提供连续动态批处理、推测解码和多模态支持。
对于兼容 OpenAI 的服务器,README 把 TabbyAPI 作为官方推荐的后端,另外还有一个 Transformers 插件。安装需要带 CUDA 12.4 或更高版本的 PyTorch,也就是需要 NVIDIA GPU。发布页提供预编译的 wheel;PyPI 软件包不含预编译的扩展,需要 CUDA 工具包和编译器。
许可证是 MIT。EXL3 是这个库自己的权重格式,不是 GGUF,README 讲解了如何自己量化模型。它是库而不是聊天应用,所以请搭配 TabbyAPI 或其他前端使用。
适合做什么
- 用精细的量化把大模型装进一张或几张 NVIDIA 消费级 GPU
- 通过 TabbyAPI 在本地快速提供服务
- 借助 CPU 卸载运行大型混合专家模型
需要注意
- 需要带 CUDA 12.4 或更高版本的 NVIDIA GPU,以及匹配的 PyTorch
- PyPI 软件包需要从源码构建,除非你有 CUDA 工具包和编译器,否则请使用预编译的 wheel
- EXL3 权重是与 GGUF 不同的格式,llama.cpp 无法加载