KTransformers
Framework de investigación que reparte el trabajo entre la GPU y la memoria RAM para ejecutar modelos MoE gigantes.
KTransformers es un proyecto de investigación sobre inferencia y fine-tuning eficientes de grandes modelos de lenguaje mediante computación heterogénea CPU-GPU. Su componente kt-kernel permite programar el trabajo de mezcla de expertos entre la GPU y la CPU, con descarga de expertos a la memoria del sistema, de modo que modelos muy grandes pueden ejecutarse en una sola GPU de consumo junto con bastante RAM. Los backends de CPU incluyen opciones con AMX, AVX512 y solo AVX2.
El README sigue el soporte desde el día cero de nuevos modelos abiertos, entre ellos Kimi K2.5, GLM-5, GLM-5.2, GLM-5.3 Flash, MiniMax M3 y DeepSeek V4 Flash. También tiene una parte de fine-tuning que entrena modelos de mezcla de expertos con LoRA junto a LLaMA-Factory. Para servir modelos se integra con SGLang mediante el fork propio del proyecto. La tarjeta de modelo de Kimi K2.7 Code de Moonshot menciona KTransformers como runtime recomendado junto a vLLM y SGLang.
La licencia es Apache 2.0. Los paquetes de PyPI requieren Linux en x86-64, y la velocidad depende del ancho de banda de memoria y de las capacidades de la CPU, por lo que es más lento que mantener todos los expertos en las GPUs. Trátalo como una herramienta de investigación que cambia rápido: la última versión es la v0.7.2.
Ideal para
- Ejecutar modelos de mezcla de expertos gigantes como DeepSeek, GLM, Kimi o MiniMax en una GPU con mucha RAM del sistema
- Fine-tuning con LoRA de modelos de mezcla de expertos con poca memoria de GPU
- Montajes caseros y de investigación
A tener en cuenta
- Los paquetes requieren Linux en x86-64
- Los expertos descargados a la CPU van más lentos que los que están en GPU, y la velocidad depende del ancho de banda de memoria y del soporte de instrucciones de la CPU
- Es un proyecto de investigación con versiones que cambian rápido, así que espera bordes sin pulir