KTransformers
GPU と CPU メモリで処理を分担し、超大規模な混合エキスパート(MoE)モデルを動かす研究向けフレームワーク。
KTransformers は、CPU と GPU の異種混合コンピューティングによる大規模言語モデルの効率的な推論とファインチューニングを扱う研究プロジェクトです。kt-kernel コンポーネントは、混合エキスパート(MoE)モデルの計算を GPU と CPU の間でスケジューリングし、エキスパートをシステムメモリにオフロードできます。これにより、超大規模モデルでも、1 枚のコンシューマー GPU と大容量 RAM を組み合わせた環境で動作します。CPU バックエンドには、AMX、AVX512、AVX2 のみのオプションが含まれます。
README では、Kimi K2.5、GLM-5、GLM-5.2、GLM-5.3 Flash、MiniMax M3、DeepSeek V4 Flash といった新しいオープンモデルへの day-0 サポート状況が追跡されています。また、LLaMA-Factory と組み合わせて LoRA で MoE モデルを学習するファインチューニング機能もあります。サービングについては、プロジェクト独自のフォークを通じて SGLang と統合されています。Moonshot の Kimi K2.7 Code モデルカードは、vLLM や SGLang と並ぶ推奨ランタイムとして KTransformers を挙げています。
ライセンスは Apache 2.0 です。PyPI パッケージには x86-64 の Linux が必要で、速度はメモリ帯域幅と CPU の機能に左右されるため、すべてのエキスパートを GPU に載せた場合より遅くなります。変化の速い研究ツールとして捉えてください。最新リリースは v0.7.2 です。
おすすめの用途
- 大容量のシステム RAM と組み合わせた 1 枚の GPU で、DeepSeek、GLM、Kimi、MiniMax などの超大規模 MoE モデルを動かす
- 限られた GPU メモリでの MoE モデルの LoRA ファインチューニング
- ホームラボや研究環境
注意点
- パッケージには x86-64 の Linux が必要
- CPU にオフロードしたエキスパートは GPU 上のものより遅く、速度はメモリ帯域幅と CPU 命令セットの対応状況に左右される
- リリースが変化しやすい研究プロジェクトなので、未成熟な部分もあると心得ておく