KTransformers
Framework de pesquisa que divide o trabalho entre a GPU e a memória RAM para rodar modelos MoE gigantes.
O KTransformers é um projeto de pesquisa sobre inferência e fine-tuning eficientes de grandes modelos de linguagem por meio de computação heterogênea CPU-GPU. Seu componente kt-kernel permite escalonar o trabalho de mistura de especialistas entre a GPU e a CPU, com descarregamento de especialistas para a memória do sistema, o que faz com que modelos muito grandes rodem em uma única GPU de consumo junto com bastante RAM. Os backends de CPU incluem opções com AMX, AVX512 e apenas AVX2.
O README acompanha o suporte desde o dia zero de novos modelos abertos, incluindo Kimi K2.5, GLM-5, GLM-5.2, GLM-5.3 Flash, MiniMax M3 e DeepSeek V4 Flash. Ele também tem uma parte de fine-tuning que treina modelos de mistura de especialistas com LoRA junto com o LLaMA-Factory. Para servir, ele se integra ao SGLang pelo fork próprio do projeto. O cartão de modelo do Kimi K2.7 Code da Moonshot cita o KTransformers como runtime recomendado ao lado de vLLM e SGLang.
A licença é Apache 2.0. Os pacotes do PyPI exigem Linux em x86-64, e a velocidade depende da largura de banda da memória e dos recursos da CPU, então é mais lento do que manter todos os especialistas nas GPUs. Trate-o como uma ferramenta de pesquisa que muda rápido: o lançamento mais recente é a v0.7.2.
Bom para
- Rodar modelos de mistura de especialistas gigantes como DeepSeek, GLM, Kimi ou MiniMax em uma GPU com bastante RAM do sistema
- Fine-tuning com LoRA de modelos de mistura de especialistas com pouca memória de GPU
- Ambientes de homelab e pesquisa
Pontos de atenção
- Os pacotes exigem Linux em x86-64
- Especialistas descarregados para a CPU rodam mais devagar do que nas GPUs, e a velocidade depende da largura de banda da memória e do suporte a instruções da CPU
- É um projeto de pesquisa com versões que mudam rápido, então conte com arestas não polidas