KTransformers

GPU と CPU メモリで処理を分担し、超大規模な混合エキスパート(MoE)モデルを動かす研究向けフレームワーク。

  • 大規模サービング
  • Apache 2.0 · オープンソース
  • Linux
  • 検証日

KTransformers は、CPU と GPU の異種混合コンピューティングによる大規模言語モデルの効率的な推論とファインチューニングを扱う研究プロジェクトです。kt-kernel コンポーネントは、混合エキスパート(MoE)モデルの計算を GPU と CPU の間でスケジューリングし、エキスパートをシステムメモリにオフロードできます。これにより、超大規模モデルでも、1 枚のコンシューマー GPU と大容量 RAM を組み合わせた環境で動作します。CPU バックエンドには、AMX、AVX512、AVX2 のみのオプションが含まれます。

README では、Kimi K2.5、GLM-5、GLM-5.2、GLM-5.3 Flash、MiniMax M3、DeepSeek V4 Flash といった新しいオープンモデルへの day-0 サポート状況が追跡されています。また、LLaMA-Factory と組み合わせて LoRA で MoE モデルを学習するファインチューニング機能もあります。サービングについては、プロジェクト独自のフォークを通じて SGLang と統合されています。Moonshot の Kimi K2.7 Code モデルカードは、vLLM や SGLang と並ぶ推奨ランタイムとして KTransformers を挙げています。

ライセンスは Apache 2.0 です。PyPI パッケージには x86-64 の Linux が必要で、速度はメモリ帯域幅と CPU の機能に左右されるため、すべてのエキスパートを GPU に載せた場合より遅くなります。変化の速い研究ツールとして捉えてください。最新リリースは v0.7.2 です。

おすすめの用途

  • 大容量のシステム RAM と組み合わせた 1 枚の GPU で、DeepSeek、GLM、Kimi、MiniMax などの超大規模 MoE モデルを動かす
  • 限られた GPU メモリでの MoE モデルの LoRA ファインチューニング
  • ホームラボや研究環境

注意点

  • パッケージには x86-64 の Linux が必要
  • CPU にオフロードしたエキスパートは GPU 上のものより遅く、速度はメモリ帯域幅と CPU 命令セットの対応状況に左右される
  • リリースが変化しやすい研究プロジェクトなので、未成熟な部分もあると心得ておく

リンク