Axolotl

免费的微调框架,由一个 YAML 文件驱动,支持 LoRA、QLoRA、偏好微调,以及面向 MoE 模型的 NVFP4 和专家并行训练。

  • 微调
  • Apache 2.0 · 开源
  • Linux
  • 核实于

Axolotl 是免费的开源工具,用于大语言模型的后训练和微调。一个 YAML 配置文件就能涵盖数据集预处理、训练、评估、量化和推理。README 列出的训练方法包括全量微调、LoRA、QLoRA、量化感知训练(int8、int4、FP8、NVFP4 和 MXFP4)、偏好微调(DPO、IPO、KTO 和 ORPO)、强化学习(GRPO 和 GDPO),以及视觉语言模型和音频模型的多模态训练。

README 中的更新日志会在新开放模型发布后不久就跟进,包括 Gemma 4、Qwen3.6、Mistral Large 4、Reflection 的 Beam、MiniCPM5 和 Muse Glimmer,并为混合专家模型提供专家并行和 NVFP4 LoRA 训练。它支持用 FSDP2、DeepSpeed 和上下文并行做分布式训练,还能用 axolotl export 把模型导出为 GGUF,供 llama.cpp 和 Ollama 使用。

README 列出的要求是 NVIDIA GPU(bf16 和 Flash Attention 需要 Ampere 或更新)或 AMD GPU、Python 3.12 或更高版本,以及较新的 PyTorch,并提供 Docker 镜像和 PyPI 软件包。许可证是 Apache 2.0,微调后的模型仍然带有你所用基础模型的许可证。

适合做什么

  • 用配置文件做可重复的微调
  • 单卡的 LoRA 和 QLoRA,或多卡、多节点训练
  • 用专家并行和 NVFP4 LoRA 训练微调新的混合专家模型
  • 把微调后的模型导出为 GGUF

需要注意

  • 需要 NVIDIA GPU(bf16 和 Flash Attention 需要 Ampere 或更新)或 AMD GPU
  • README 要求 Python 3.12 或更高版本和较新的 PyTorch,请使用全新的环境或 Docker 镜像
  • 微调后的模型继承基础模型的许可证,包括其中的营收限制

链接