Axolotl

Бесплатный фреймворк дообучения на одном YAML-файле: LoRA, QLoRA, обучение на предпочтениях, NVFP4 и expert-parallel для MoE-моделей.

  • Дообучение
  • Apache 2.0 · Открытый код
  • Linux
  • Проверено

Axolotl — бесплатный инструмент с открытым кодом для постобучения и дообучения (fine-tuning) больших языковых моделей. Один YAML-файл конфигурации покрывает предобработку датасета, обучение, оценку, квантизацию и инференс. В README перечислены методы обучения: полное дообучение, LoRA, QLoRA, обучение с учётом квантизации (int8, int4, FP8, NVFP4 и MXFP4), настройка на предпочтениях (DPO, IPO, KTO и ORPO), обучение с подкреплением (GRPO и GDPO) и мультимодальное обучение для визуально-языковых и аудио-моделей.

Журнал обновлений в README отслеживает новые открытые модели вскоре после их выхода: Gemma 4, Qwen3.6, Mistral Large 4, Beam от Reflection, MiniCPM5 и Muse Glimmer, с экспертно-параллельным обучением и NVFP4 LoRA для mixture-of-experts моделей. Он поддерживает распределённое обучение с FSDP2, DeepSpeed и параллелизмом контекста, а также умеет экспортировать модель в GGUF командой axolotl export для использования с llama.cpp и Ollama.

README указывает требования: GPU NVIDIA (Ampere или новее для bf16 и Flash Attention) или GPU AMD, Python 3.12 или новее и свежий PyTorch; также предлагаются Docker-образы и пакеты PyPI. Лицензия — Apache 2.0, и дообученная модель по-прежнему несёт лицензию базовой модели, от которой вы отталкивались.

Подходит для

  • Повторяемые запуски дообучения из файла конфигурации
  • LoRA и QLoRA на одном GPU или обучение на нескольких GPU и узлах
  • Дообучение новых mixture-of-experts моделей с expert-parallel и NVFP4 LoRA
  • Экспорт дообученной модели в GGUF

На что обратить внимание

  • Нужна GPU NVIDIA (Ampere или новее для bf16 и Flash Attention) или GPU AMD
  • README требует Python 3.12 или новее и свежий PyTorch, поэтому используйте чистое окружение или Docker-образ
  • Дообученная модель наследует лицензию базовой модели, включая ограничения по выручке

Ссылки