KTransformers

Framework de investigación que reparte el trabajo entre la GPU y la memoria RAM para ejecutar modelos MoE gigantes.

  • Servir a gran escala
  • Apache 2.0 · Código abierto
  • Linux
  • Verificado

KTransformers es un proyecto de investigación sobre inferencia y fine-tuning eficientes de grandes modelos de lenguaje mediante computación heterogénea CPU-GPU. Su componente kt-kernel permite programar el trabajo de mezcla de expertos entre la GPU y la CPU, con descarga de expertos a la memoria del sistema, de modo que modelos muy grandes pueden ejecutarse en una sola GPU de consumo junto con bastante RAM. Los backends de CPU incluyen opciones con AMX, AVX512 y solo AVX2.

El README sigue el soporte desde el día cero de nuevos modelos abiertos, entre ellos Kimi K2.5, GLM-5, GLM-5.2, GLM-5.3 Flash, MiniMax M3 y DeepSeek V4 Flash. También tiene una parte de fine-tuning que entrena modelos de mezcla de expertos con LoRA junto a LLaMA-Factory. Para servir modelos se integra con SGLang mediante el fork propio del proyecto. La tarjeta de modelo de Kimi K2.7 Code de Moonshot menciona KTransformers como runtime recomendado junto a vLLM y SGLang.

La licencia es Apache 2.0. Los paquetes de PyPI requieren Linux en x86-64, y la velocidad depende del ancho de banda de memoria y de las capacidades de la CPU, por lo que es más lento que mantener todos los expertos en las GPUs. Trátalo como una herramienta de investigación que cambia rápido: la última versión es la v0.7.2.

Ideal para

  • Ejecutar modelos de mezcla de expertos gigantes como DeepSeek, GLM, Kimi o MiniMax en una GPU con mucha RAM del sistema
  • Fine-tuning con LoRA de modelos de mezcla de expertos con poca memoria de GPU
  • Montajes caseros y de investigación

A tener en cuenta

  • Los paquetes requieren Linux en x86-64
  • Los expertos descargados a la CPU van más lentos que los que están en GPU, y la velocidad depende del ancho de banda de memoria y del soporte de instrucciones de la CPU
  • Es un proyecto de investigación con versiones que cambian rápido, así que espera bordes sin pulir

Enlaces