KTransformers

GPU와 CPU 메모리가 작업을 나눠 처리하도록 해 초대형 전문가 혼합(MoE) 모델을 구동하는 연구용 프레임워크.

  • 대규모 서빙
  • Apache 2.0 · 오픈소스
  • Linux
  • 검증

KTransformers는 CPU-GPU 이기종 컴퓨팅으로 대규모 언어 모델의 효율적인 추론과 파인튜닝을 다루는 연구 프로젝트입니다. kt-kernel 컴포넌트는 전문가 혼합(MoE) 모델의 연산을 GPU와 CPU 사이에서 스케줄링하고, 전문가를 시스템 메모리로 오프로드할 수 있게 해 줍니다. 덕분에 초대형 모델도 컨슈머 GPU 한 장과 넉넉한 RAM을 갖춘 환경에서 돌아갑니다. CPU 백엔드에는 AMX, AVX512, AVX2 전용 옵션이 포함됩니다.

README는 Kimi K2.5, GLM-5, GLM-5.2, GLM-5.3 Flash, MiniMax M3, DeepSeek V4 Flash 등 새 공개 모델의 day-0 지원 현황을 기록합니다. LLaMA-Factory와 함께 LoRA로 MoE 모델을 학습시키는 파인튜닝 기능도 있습니다. 서빙은 프로젝트 자체 포크를 통해 SGLang과 통합됩니다. Moonshot의 Kimi K2.7 Code 모델 카드는 KTransformers를 vLLM, SGLang과 나란히 추천 런타임으로 언급합니다.

라이선스는 Apache 2.0입니다. PyPI 패키지는 x86-64 Linux가 필요하고, 속도는 메모리 대역폭과 CPU 기능에 좌우되므로 모든 전문가를 GPU에 두는 방식보다 느립니다. 빠르게 변하는 연구 도구로 보시면 됩니다. 최신 릴리스는 v0.7.2입니다.

적합한 용도

  • 충분한 시스템 RAM과 결합한 GPU 한 장으로 DeepSeek, GLM, Kimi, MiniMax 등 초대형 MoE 모델 구동
  • 한정된 GPU 메모리에서 MoE 모델 LoRA 파인튜닝
  • 홈랩과 연구 환경

주의할 점

  • 패키지는 x86-64 Linux 필요
  • CPU로 오프로드한 전문가는 GPU에 두었을 때보다 느리고, 속도는 메모리 대역폭과 CPU 명령어 세트 지원에 좌우됨
  • 릴리스 변화가 빠른 연구 프로젝트이므로 미완성 부분을 각오해야 함

링크