LLaMA-Factory

用零代码的命令行或网页界面微调 100 多个模型,涵盖 LoRA、QLoRA、DPO 和多模态训练。

  • 微调
  • Apache 2.0 · 开源
  • Windows, Linux
  • 核实于

LLaMA-Factory 是开源框架,用于微调 100 多个大语言模型和视觉语言模型,其论文发表于 ACL 2024。你可以通过零代码的命令行操作,也可以使用基于 Gradio 的网页界面 LlamaBoard。README 列出了受支持的模型,如 LLaMA、Mistral、Qwen3、DeepSeek、Gemma 和 GLM,以及支持的训练方式。

根据 README,训练方法包括持续预训练、含多模态数据的监督微调、奖励建模、PPO、DPO、KTO 和 ORPO。针对有限的硬件,它提供 16 位全量微调、冻结微调、LoRA,以及通过 AQLM、AWQ、GPTQ、LLM.int8、HQQ 和 EETQ 实现的 2 到 8 位 QLoRA,还能使用 FlashAttention-2、Unsloth、Liger Kernel 和 KTransformers。实验监控包括 TensorBoard、Wandb 和 MLflow,推理方面提供 OpenAI 风格的 API、Gradio 界面,以及带 vLLM 或 SGLang 工作进程的命令行。

README 为 Windows 用户单独提供了说明,Windows 用户必须自己安装带 CUDA 的 PyTorch,也有针对昇腾 NPU 和 AMD GPU 的说明。许可证是 Apache 2.0,最新版本是 2026 年 5 月的 v0.9.5。微调后的模型仍然带有基础模型的许可证。

适合做什么

  • 不写训练代码就能微调
  • 通过网页界面在单卡上试用 LoRA 和 QLoRA
  • 一个工具覆盖许多模型家族
  • 借助可视化前端了解微调是怎么回事

需要注意

  • Windows 用户必须自己安装带 CUDA 的 PyTorch,QLoRA 还需要 bitsandbytes
  • 开始之前,请在 README 的支持模型列表中查看你的模型
  • 微调后的模型继承基础模型的许可证,包括其中的营收限制

链接