KTransformers

Framework de pesquisa que divide o trabalho entre a GPU e a memória RAM para rodar modelos MoE gigantes.

  • Servir em escala
  • Apache 2.0 · Código aberto
  • Linux
  • Verificado

O KTransformers é um projeto de pesquisa sobre inferência e fine-tuning eficientes de grandes modelos de linguagem por meio de computação heterogênea CPU-GPU. Seu componente kt-kernel permite escalonar o trabalho de mistura de especialistas entre a GPU e a CPU, com descarregamento de especialistas para a memória do sistema, o que faz com que modelos muito grandes rodem em uma única GPU de consumo junto com bastante RAM. Os backends de CPU incluem opções com AMX, AVX512 e apenas AVX2.

O README acompanha o suporte desde o dia zero de novos modelos abertos, incluindo Kimi K2.5, GLM-5, GLM-5.2, GLM-5.3 Flash, MiniMax M3 e DeepSeek V4 Flash. Ele também tem uma parte de fine-tuning que treina modelos de mistura de especialistas com LoRA junto com o LLaMA-Factory. Para servir, ele se integra ao SGLang pelo fork próprio do projeto. O cartão de modelo do Kimi K2.7 Code da Moonshot cita o KTransformers como runtime recomendado ao lado de vLLM e SGLang.

A licença é Apache 2.0. Os pacotes do PyPI exigem Linux em x86-64, e a velocidade depende da largura de banda da memória e dos recursos da CPU, então é mais lento do que manter todos os especialistas nas GPUs. Trate-o como uma ferramenta de pesquisa que muda rápido: o lançamento mais recente é a v0.7.2.

Bom para

  • Rodar modelos de mistura de especialistas gigantes como DeepSeek, GLM, Kimi ou MiniMax em uma GPU com bastante RAM do sistema
  • Fine-tuning com LoRA de modelos de mistura de especialistas com pouca memória de GPU
  • Ambientes de homelab e pesquisa

Pontos de atenção

  • Os pacotes exigem Linux em x86-64
  • Especialistas descarregados para a CPU rodam mais devagar do que nas GPUs, e a velocidade depende da largura de banda da memória e do suporte a instruções da CPU
  • É um projeto de pesquisa com versões que mudam rápido, então conte com arestas não polidas

Links