开放模型微调入门:LoRA、QLoRA,以及什么时候需要微调

了解什么时候该微调开放 AI 模型,而不是只改提示词或使用 RAG;LoRA 和 QLoRA 如何降低成本,需要什么数据,以及要在许可证里检查什么。

  • 进阶
  • 阅读约 6 分钟
  • 发布于
  • 更新于

简短回答。 先尝试更好的提示词,再尝试从你自己的文档中检索,只有当你需要提示词无法提供的稳定风格、格式或行为时,才去微调。LoRA 和 QLoRA 通过训练一个小的附加部分,而不是整个模型,让微调在单张 GPU 上成为可能。请确认你所用基础模型的许可证允许这样做。

适配模型的三种方式

方式 改变什么 最适合 成本
提示词 你发送的指令和示例 第一次尝试,以及大多数任务 没有额外成本
检索(RAG) 模型在回答每个问题时能看到的文档 私有或变化很快的知识,以及需要标明出处的回答 一个嵌入模型和一个检索索引
微调 模型的权重 稳定的语气、格式、领域术语或工具调用习惯 数据、GPU 时间和测试

一条有用的规则是:用检索教模型“该知道什么”,用微调教模型“该怎么表现”。两者也可以结合:微调后的模型可以按你的格式,根据检索提供的文档来回答。

全量微调、LoRA 和 QLoRA

全量微调会更新每一个参数。训练需要为权重、梯度和优化器的统计量留出内存,加起来通常约为每个参数 12 到 16 字节。对于 7B 的模型,大约是 100 GB,所以全量微调主要是数据中心里的活动。

LoRA 冻结基础模型,只训练一小组新增的权重,通常只占参数的一小部分。产出是几十到几百 MB 的适配器,你把它加载到原封不动的基础模型旁边即可,一个基础模型可以搭配许多适配器。

QLoRA 在已经量化到 4 位的基础模型之上训练 LoRA 适配器,进一步降低所需内存。提出它的研究者报告过在一张 48 GB 的 GPU 上微调 65B 的模型。7B 到 8B 的模型通常可以放进 16 到 24 GB 的显卡,具体取决于序列长度和批大小。

你需要准备什么

  • 明确的任务和衡量方法。 “用我们的语气、按这几个部分回复客服邮件”是一个任务,“让模型变得更好”不是。
  • 示例数据。 输入与理想输出成对出现,并采用模型所用的同一种对话格式。对于风格和格式,几百到几千条干净的例子通常就够了。
  • 许可证允许的基础模型。 3B 到 32B 的稠密指令微调模型是最容易的起点,比如 Qwen3.8-27B、Gemma 4 或 Olmo 3.1,它们都采用 Apache 2.0。
  • 一张 GPU,或一台 Mac。 模型页面会显示运行模型所需的内存。训练需要的更多,正如上面的 QLoRA 数字所示。
  • 一个工具。 Unsloth 提供桌面应用、网页界面和代码包,并且可以导出 GGUF 文件。Transformers 是大多数训练框架所基于的参考库。MLX LM 支持在 Mac 上做 LoRA 微调。

分步骤路线

  1. 写下任务和成功标准。 决定你如何判断一个回答是好的。
  2. 先尝试提示词和检索。 如果它们已经够用,就到此为止。
  3. 收集并清洗示例。 删除你无权使用的个人数据,修正错误,保持风格一致。留出 10% 到 20% 作为模型从不训练的测试集。
  4. 选择基础模型,并确认它的许可证允许微调和你的用途。
  5. 用较小的学习率,对数据训练几轮 LoRA 或 QLoRA 适配器。 从小处开始,训练过程中查看样例输出。
  6. 与基线对比。 把留出的例子分别交给配有好提示词的基础模型和你的微调模型,并用同样的方式评判。
  7. 部署。 把适配器加载到基础模型旁边,合并进权重,或者导出 GGUF 文件供本地工具使用。如何在本地运行 AI 模型讲解了如何使用成果。

微调图像和视频模型

图像和视频生成模型同样用 LoRA 微调。少量图片就能教会一种风格或一个角色,适配器加载到基础模型旁边即可。本站收录的两个细节:

  • FLUX 3 Image Klein 除了蒸馏的 16 步版本,还提供专门用于微调的 Klein Base 检查点。
  • LTX-2.5 带有训练器和一整套任务 LoRA 库,Wan 2.2 则有庞大的 LoRA 社区生态。

常见陷阱

  • 过拟合。 在太少的数据上训练太多轮,模型会复述你的例子,遇到新输入就失败。要看留出数据的结果,而不是训练损失。
  • 遗忘。 微调可能丢失通用能力。请测试一些你没有训练过的任务。
  • 模板不匹配。 请使用模型原本设计的对话格式,否则结果会以奇怪的方式变差。
  • 用训练数据评判。 一定要在模型从未见过的例子上打分。
  • 脏数据。 示例里的错误和不一致,会变成模型的习惯。
  • 许可证上的意外。 条件会延续到衍生模型上,详见下文。

先检查许可证

微调通常会产生基础模型的衍生品,基础许可证决定了你能用它做什么。Apache 2.0 和 MIT 允许这样做,条件很少。其他许可证会附加条件,并延续到你的成果上:

  • FLUX Kommunity 许可证允许 LoRA 微调等衍生模型,分发时需附带许可证和声明。它不允许用该模型或其输出去改进另一个功能类似的模型。
  • LTX-2.x Community 许可证规定,微调模型和蒸馏模型都算衍生品,并继续受同一份协议约束。
  • LFM Open 许可证允许你在同一份许可证下再分发衍生作品,其 1000 万美元的营收上限对你同样适用。

AI 模型许可证详解介绍了其余内容。

常见问题

微调模型需要多少数据?
要教会一种风格、一种格式或一个狭窄的任务,几百到几千条高质量的例子通常就够了。要教更广泛的能力,则需要更多。质量比数量更重要:一小批干净、一致的数据,通常胜过一大批杂乱的数据。
微调能教会模型新的事实吗?
不太可靠。微调更擅长改变行为,比如语气、格式和习惯,而不是增加知识。对于私有的或经常变化的事实,检索增强生成通常是更合适的工具。
QLoRA 需要多少显存?
7B 到 8B 的模型通常可以在一张 16 到 24 GB 的 GPU 上用 QLoRA 微调,具体取决于序列长度和批大小。QLoRA 的作者报告过在一张 48 GB 的 GPU 上微调 65B 的模型。
可以微调混合专家模型吗?
可以,但更难,也更占内存,因为所有专家都必须加载。稠密模型更容易训练,所以新手通常从 3B 到 32B 的稠密模型开始。
我可以出售或发布微调后的模型吗?
只有在基础模型的许可证允许衍生品时才可以,而且它的条件通常会延续到你的衍生模型上:许可证副本、署名要求、营收上限或输出规则。Apache 2.0 和 MIT 允许这样做,条件很少。发布之前请先检查许可证。

本文关键术语

  • 嵌入模型 嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。
  • 微调 微调是在你自己的示例上继续训练一个预训练模型,让它在特定任务、风格或领域里表现得更好。
  • LoRA(低秩适配) LoRA 是低秩适配的简称,它通过训练一小组新增的权重来微调模型,而不是改动模型的全部参数。
  • 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
  • 检索增强生成(RAG) 检索增强生成让模型能够根据你自己的文档来回答问题:先检索出相关段落,再把它们加入提示词。
  • 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3.8-27B Alibaba Qwen 27.8B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
Olmo 3.1 Allen Institute for AI (Ai2) 7.3B – 32.2B 64K Apache 2.0 (宽松) 5.04 GB 笔记本或手机
Granite 4.2 IBM 3.7B – 29.3B 128K Apache 2.0 (宽松) 2.55 GB 笔记本或手机
FLUX 3 Image Klein Black Forest Labs 5.6B – FLUX Kommunity (附条件) 8 GB 笔记本或手机
LTX-2.5 LTX (Lightricks) 22B – LTX-2.x Community (附条件) 16 GB 笔记本或手机