KTransformers
Framework de recherche qui répartit le travail entre le GPU et la mémoire vive pour faire tourner des modèles MoE géants.
KTransformers est un projet de recherche sur l'inférence et le fine-tuning efficaces des grands modèles de langage grâce au calcul hétérogène CPU-GPU. Son composant kt-kernel permet de répartir le travail de mélange d'experts entre le GPU et le CPU, avec déchargement des experts vers la mémoire vive, ce qui permet à des modèles très grands de tourner sur un seul GPU grand public accompagné de beaucoup de RAM. Les backends CPU incluent des options AMX, AVX512 et AVX2 seul.
Le README suit le support dès le jour zéro des nouveaux modèles ouverts, notamment Kimi K2.5, GLM-5, GLM-5.2, GLM-5.3 Flash, MiniMax M3 et DeepSeek V4 Flash. Il comprend aussi une partie fine-tuning qui entraîne des modèles à mélange d'experts avec LoRA aux côtés de LLaMA-Factory. Pour le service, il s'intègre à SGLang via le fork propre au projet. La fiche de modèle Kimi K2.7 Code de Moonshot cite KTransformers comme runtime recommandé aux côtés de vLLM et SGLang.
La licence est Apache 2.0. Les paquets PyPI exigent Linux sur x86-64, et la vitesse dépend de la bande passante mémoire et des capacités du CPU, donc c'est plus lent que de garder chaque expert sur GPU. Traitez-le comme un outil de recherche qui évolue vite : la dernière version est la v0.7.2.
Idéal pour
- Faire tourner des modèles à mélange d'experts géants comme DeepSeek, GLM, Kimi ou MiniMax sur un GPU avec beaucoup de RAM
- Fine-tuning LoRA de modèles à mélange d'experts avec peu de mémoire GPU
- Installations homelab et recherche
Points d’attention
- Les paquets exigent Linux sur x86-64
- Les experts déchargés sur le CPU sont plus lents que ceux restés sur GPU, et la vitesse dépend de la bande passante mémoire et du support des instructions CPU
- C'est un projet de recherche aux versions changeantes : attendez-vous à des aspérités