ExLlamaV3
소비자 GPU를 위한 CUDA 추론 라이브러리. 자체 EXL3 양자화, 텐서 병렬, MoE 모델용 CPU 오프로드를 갖추고 있습니다.
ExLlamaV3는 최신 소비자 GPU에서 로컬 LLM을 실행하기 위한 추론 라이브러리입니다. QTIP 기반의 EXL3 양자화, 2~8비트 캐시 양자화, 유연한 텐서 병렬·전문가 병렬 추론, 그리고 제한된 GPU 메모리로도 큰 MoE 모델을 돌릴 수 있게 하는 CPU 오프로드(AVX2와 AVX512 지원)가 특징입니다. 생성 측면에서는 연속 동적 배칭, 추측 디코딩(speculative decoding), 멀티모달 지원을 제공합니다.
OpenAI 호환 서버용으로는 README가 TabbyAPI를 공식이자 권장 백엔드로 명시하고, Transformers용 플러그인도 있습니다. 설치에는 CUDA 12.4 이상의 PyTorch가 필요하며, 즉 NVIDIA GPU가 필요합니다. 미리 빌드된 wheel은 릴리스 페이지에 있고, PyPI 패키지에는 빌드된 확장이 없어 CUDA 툴킷과 컴파일러가 필요합니다.
라이선스는 MIT입니다. EXL3는 이 라이브러리 고유의 가중치 형식이며 GGUF가 아닙니다. README는 모델을 직접 양자화하는 방법도 설명합니다. 라이브러리지 챗 앱이 아니므로 TabbyAPI 같은 프런트엔드와 함께 쓰세요.
적합한 용도
- 정교한 양자화로 큰 모델을 한두 장의 NVIDIA 소비자 GPU에 맞추기
- TabbyAPI를 통한 빠른 로컬 서빙
- CPU 오프로드로 큰 MoE 모델 실행
주의할 점
- CUDA 12.4 이상의 NVIDIA GPU와 맞는 PyTorch 필요
- PyPI 패키지는 소스에서 빌드되므로 CUDA 툴킷과 컴파일러가 없다면 미리 빌드된 wheel 사용
- EXL3 가중치는 GGUF와 별개 형식이라 llama.cpp에서 불러올 수 없음