KTransformers

研究型框架,让 GPU 和 CPU 内存分担工作,来运行超大的混合专家模型。

  • 规模化部署
  • Apache 2.0 · 开源
  • Linux
  • 核实于

KTransformers 是一个研究项目,通过 CPU-GPU 异构计算实现大语言模型的高效推理和微调。它的 kt-kernel 组件支持在 GPU 和 CPU 之间调度混合专家模型的计算,并把专家卸载到系统内存,这样超大模型就能在一张消费级 GPU 加上大容量内存的机器上运行。CPU 后端包括 AMX、AVX512 以及只需 AVX2 的选项。

README 追踪对新开放模型的首日支持,包括 Kimi K2.5、GLM-5、GLM-5.2、GLM-5.3 Flash、MiniMax M3 和 DeepSeek V4 Flash。它还有微调部分,与 LLaMA-Factory 一起用 LoRA 训练混合专家模型。在服务方面,它通过项目自己的分支与 SGLang 集成。月之暗面的 Kimi K2.7 Code 模型卡把 KTransformers 列为与 vLLM 和 SGLang 并列的推荐运行时。

许可证是 Apache 2.0。PyPI 软件包要求 x86-64 的 Linux,速度取决于内存带宽和 CPU 特性,所以比把所有专家都放在 GPU 上慢。请把它当作变化很快的研究工具:最新版本是 v0.7.2。

适合做什么

  • 在一张 GPU 加大量系统内存的机器上运行 DeepSeek、GLM、Kimi 或 MiniMax 等超大混合专家模型
  • 在有限的 GPU 显存下对混合专家模型做 LoRA 微调
  • 家庭实验室和研究环境

需要注意

  • 软件包要求 x86-64 的 Linux
  • 卸载到 CPU 的专家比放在 GPU 上的跑得慢,速度取决于内存带宽和 CPU 指令集支持
  • 这是研究项目,版本更新很快,难免有粗糙之处

链接