ExLlamaV3

コンシューマー GPU 向けの CUDA 推論ライブラリ。独自の EXL3 量子化、テンソル並列、MoE モデル向けの CPU オフロードを備えます。

  • ライブラリ
  • MIT · オープンソース
  • Windows, Linux
  • 検証日

ExLlamaV3 は、最新のコンシューマー GPU 上でローカル LLM を動かすための推論ライブラリです。QTIP をベースにした EXL3 量子化、2〜8 ビットのキャッシュ量子化、柔軟なテンソル並列・エキスパート並列推論、そして大きな MoE モデルを限られた GPU メモリーで動かせる CPU オフロード(AVX2 と AVX512 対応)が特徴です。生成では、連続的な動的バッチング、投機的デコーディング、マルチモーダル対応を提供します。

OpenAI 互換サーバーについては、README が TabbyAPI を公式かつ推奨のバックエンドとして挙げており、Transformers 用プラグインもあります。インストールには CUDA 12.4 以降の PyTorch が必要で、つまり NVIDIA GPU が必要です。ビルド済みの wheel はリリースページにあり、PyPI パッケージにはビルド済み拡張が含まれず、CUDA ツールキットとコンパイラが必要です。

ライセンスは MIT です。EXL3 はこのライブラリ独自の重みフォーマットで、GGUF ではありません。README では自分でモデルを量子化する方法を説明しています。ライブラリでありチャットアプリではないため、TabbyAPI などのフロントエンドと組み合わせて使います。

おすすめの用途

  • きめ細かな量子化で大モデルを 1 枚〜数枚の NVIDIA コンシューマー GPU に収める
  • TabbyAPI による高速なローカル提供
  • CPU オフロードで大きな MoE モデルを動かす

注意点

  • CUDA 12.4 以降の NVIDIA GPU と対応する PyTorch が必要
  • PyPI パッケージはソースからビルドされるため、CUDA ツールキットとコンパイラがなければビルド済み wheel を使う
  • EXL3 重みは GGUF とは別フォーマットで、llama.cpp では読み込めない

リンク