ExLlamaV3
コンシューマー GPU 向けの CUDA 推論ライブラリ。独自の EXL3 量子化、テンソル並列、MoE モデル向けの CPU オフロードを備えます。
ExLlamaV3 は、最新のコンシューマー GPU 上でローカル LLM を動かすための推論ライブラリです。QTIP をベースにした EXL3 量子化、2〜8 ビットのキャッシュ量子化、柔軟なテンソル並列・エキスパート並列推論、そして大きな MoE モデルを限られた GPU メモリーで動かせる CPU オフロード(AVX2 と AVX512 対応)が特徴です。生成では、連続的な動的バッチング、投機的デコーディング、マルチモーダル対応を提供します。
OpenAI 互換サーバーについては、README が TabbyAPI を公式かつ推奨のバックエンドとして挙げており、Transformers 用プラグインもあります。インストールには CUDA 12.4 以降の PyTorch が必要で、つまり NVIDIA GPU が必要です。ビルド済みの wheel はリリースページにあり、PyPI パッケージにはビルド済み拡張が含まれず、CUDA ツールキットとコンパイラが必要です。
ライセンスは MIT です。EXL3 はこのライブラリ独自の重みフォーマットで、GGUF ではありません。README では自分でモデルを量子化する方法を説明しています。ライブラリでありチャットアプリではないため、TabbyAPI などのフロントエンドと組み合わせて使います。
おすすめの用途
- きめ細かな量子化で大モデルを 1 枚〜数枚の NVIDIA コンシューマー GPU に収める
- TabbyAPI による高速なローカル提供
- CPU オフロードで大きな MoE モデルを動かす
注意点
- CUDA 12.4 以降の NVIDIA GPU と対応する PyTorch が必要
- PyPI パッケージはソースからビルドされるため、CUDA ツールキットとコンパイラがなければビルド済み wheel を使う
- EXL3 重みは GGUF とは別フォーマットで、llama.cpp では読み込めない