KTransformers

Forschungsframework, das die Arbeit zwischen GPU und Arbeitsspeicher aufteilt, um riesige MoE-Modelle auszuführen.

  • Skalierender Betrieb
  • Apache 2.0 · Open Source
  • Linux
  • Verifiziert

KTransformers ist ein Forschungsprojekt zur effizienten Inferenz und zum Fine-Tuning großer Sprachmodelle durch heterogenes CPU-GPU-Rechnen. Seine Komponente kt-kernel kann die Arbeit von Mixture-of-Experts-Modellen zwischen GPU und CPU aufteilen, mit Auslagerung von Experten in den Arbeitsspeicher, sodass sehr große Modelle auf einer einzelnen Consumer-GPU zusammen mit reichlich RAM laufen. Zu den CPU-Backends gehören Optionen mit AMX, AVX512 und reinem AVX2.

Das README verfolgt den Day-0-Support neuer offener Modelle, darunter Kimi K2.5, GLM-5, GLM-5.2, GLM-5.3 Flash, MiniMax M3 und DeepSeek V4 Flash. Außerdem gibt es einen Fine-Tuning-Teil, der Mixture-of-Experts-Modelle mit LoRA gemeinsam mit LLaMA-Factory trainiert. Für den Betrieb integriert es sich über den eigenen Fork des Projekts in SGLang. Die Modellkarte von Moonshots Kimi K2.7 Code nennt KTransformers neben vLLM und SGLang als empfohlene Runtime.

Die Lizenz ist Apache 2.0. Die PyPI-Pakete erfordern Linux auf x86-64, und die Geschwindigkeit hängt von Speicherbandbreite und CPU-Funktionen ab, daher ist es langsamer, als jeden Experten auf GPUs zu halten. Betrachten Sie es als schnell wandelndes Forschungswerkzeug: Die neueste Version ist v0.7.2.

Geeignet für

  • Riesige Mixture-of-Experts-Modelle wie DeepSeek, GLM, Kimi oder MiniMax auf einer GPU mit viel System-RAM ausführen
  • LoRA-Fine-Tuning von Mixture-of-Experts-Modellen bei wenig GPU-Speicher
  • Homelab- und Forschungs-Setups

Darauf achten

  • Die Pakete erfordern Linux auf x86-64
  • Auf die CPU ausgelagerte Experten sind langsamer als Experten auf GPUs, und die Geschwindigkeit hängt von Speicherbandbreite und CPU-Instruktionsunterstützung ab
  • Es ist ein Forschungsprojekt mit schnell wechselnden Versionen, rechnen Sie mit rauen Kanten

Links