ExLlamaV3
CUDA-библиотека инференса для потребительских GPU: собственная квантизация EXL3, тензорный параллелизм и выгрузка на CPU для MoE-моделей.
ExLlamaV3 — библиотека инференса для запуска локальных LLM на современных потребительских GPU. Её возможности: квантизация EXL3 на основе QTIP вместе с квантизацией кэша от 2 до 8 бит, гибкий инференс с тензорным и экспертным параллелизмом, а также выгрузка на CPU, позволяющая большим mixture-of-experts моделям работать при ограниченной памяти GPU, с поддержкой AVX2 и AVX512. Для генерации есть непрерывный динамический батчинг, спекулятивное декодирование и мультимодальность.
Для сервера, совместимого с OpenAI, README называет TabbyAPI официальным и рекомендуемым бэкендом; есть и плагин для Transformers. Для установки нужен PyTorch с CUDA 12.4 или новее, то есть GPU NVIDIA. Предсобранные wheel-файлы лежат на странице релизов, а пакет с PyPI не содержит предсобранного расширения и требует CUDA Toolkit и компилятор.
Лицензия — MIT. EXL3 — собственный формат весов этой библиотеки, а не GGUF, и в README объясняется, как квантизовать модель самостоятельно. Это библиотека, а не чат-приложение, поэтому используйте её вместе с TabbyAPI или другим фронтендом.
Подходит для
- Уместить большие модели на одной или нескольких потребительских GPU NVIDIA с помощью тонкой квантизации
- Быстрая локальная раздача через TabbyAPI
- Запуск больших mixture-of-experts моделей с выгрузкой на CPU
На что обратить внимание
- Нужна GPU NVIDIA с CUDA 12.4 или новее и подходящий PyTorch
- Пакет с PyPI собирается из исходников, поэтому берите предсобранный wheel, если у вас нет CUDA Toolkit и компилятора
- Веса EXL3 — отдельный от GGUF формат, llama.cpp их не загрузит