KTransformers
Исследовательский фреймворк, который распределяет работу между GPU и памятью компьютера, чтобы запускать огромные MoE-модели.
KTransformers — исследовательский проект об эффективном инференсе и дообучении больших языковых моделей посредством гетерогенных вычислений CPU-GPU. Его компонент kt-kernel поддерживает распределение работы mixture-of-experts моделей между GPU и CPU с выгрузкой экспертов в системную память, благодаря чему очень большие модели запускаются на одной потребительской GPU вместе с большим объёмом RAM. Среди CPU-бэкендов есть варианты с AMX, AVX512 и только AVX2.
В README отслеживается поддержка новых открытых моделей с первого дня, включая Kimi K2.5, GLM-5, GLM-5.2, GLM-5.3 Flash, MiniMax M3 и DeepSeek V4 Flash. Также есть часть, посвящённая дообучению: она тренирует mixture-of-experts модели с LoRA совместно с LLaMA-Factory. Для сервинга проект интегрируется с SGLang через собственный форк. Карточка модели Kimi K2.7 Code от Moonshot называет KTransformers рекомендуемой средой выполнения наряду с vLLM и SGLang.
Лицензия — Apache 2.0. Пакеты в PyPI требуют Linux на x86-64, а скорость зависит от пропускной способности памяти и возможностей CPU, поэтому он медленнее, чем хранение всех экспертов на GPU. Считайте это быстро меняющимся исследовательским инструментом: последний релиз — v0.7.2.
Подходит для
- Запуск гигантских mixture-of-experts моделей вроде DeepSeek, GLM, Kimi или MiniMax на одной GPU с большим объёмом системной RAM
- LoRA-дообучение mixture-of-experts моделей при ограниченной памяти GPU
- Домашние лаборатории и исследовательские настройки
На что обратить внимание
- Пакеты требуют Linux на x86-64
- Выгруженные на CPU эксперты работают медленнее экспертов на GPU, а скорость зависит от пропускной способности памяти и поддержки инструкций CPU
- Это исследовательский проект с быстро меняющимися релизами, так что будьте готовы к шероховатостям