开放模型微调入门:LoRA、QLoRA,以及什么时候需要微调
了解什么时候该微调开放 AI 模型,而不是只改提示词或使用 RAG;LoRA 和 QLoRA 如何降低成本,需要什么数据,以及要在许可证里检查什么。
简短回答。 先尝试更好的提示词,再尝试从你自己的文档中检索,只有当你需要提示词无法提供的稳定风格、格式或行为时,才去微调。LoRA 和 QLoRA 通过训练一个小的附加部分,而不是整个模型,让微调在单张 GPU 上成为可能。请确认你所用基础模型的许可证允许这样做。
适配模型的三种方式
| 方式 | 改变什么 | 最适合 | 成本 |
|---|---|---|---|
| 提示词 | 你发送的指令和示例 | 第一次尝试,以及大多数任务 | 没有额外成本 |
| 检索(RAG) | 模型在回答每个问题时能看到的文档 | 私有或变化很快的知识,以及需要标明出处的回答 | 一个嵌入模型和一个检索索引 |
| 微调 | 模型的权重 | 稳定的语气、格式、领域术语或工具调用习惯 | 数据、GPU 时间和测试 |
一条有用的规则是:用检索教模型“该知道什么”,用微调教模型“该怎么表现”。两者也可以结合:微调后的模型可以按你的格式,根据检索提供的文档来回答。
全量微调、LoRA 和 QLoRA
全量微调会更新每一个参数。训练需要为权重、梯度和优化器的统计量留出内存,加起来通常约为每个参数 12 到 16 字节。对于 7B 的模型,大约是 100 GB,所以全量微调主要是数据中心里的活动。
LoRA 冻结基础模型,只训练一小组新增的权重,通常只占参数的一小部分。产出是几十到几百 MB 的适配器,你把它加载到原封不动的基础模型旁边即可,一个基础模型可以搭配许多适配器。
QLoRA 在已经量化到 4 位的基础模型之上训练 LoRA 适配器,进一步降低所需内存。提出它的研究者报告过在一张 48 GB 的 GPU 上微调 65B 的模型。7B 到 8B 的模型通常可以放进 16 到 24 GB 的显卡,具体取决于序列长度和批大小。
你需要准备什么
- 明确的任务和衡量方法。 “用我们的语气、按这几个部分回复客服邮件”是一个任务,“让模型变得更好”不是。
- 示例数据。 输入与理想输出成对出现,并采用模型所用的同一种对话格式。对于风格和格式,几百到几千条干净的例子通常就够了。
- 许可证允许的基础模型。 3B 到 32B 的稠密指令微调模型是最容易的起点,比如 Qwen3.8-27B、Gemma 4 或 Olmo 3.1,它们都采用 Apache 2.0。
- 一张 GPU,或一台 Mac。 模型页面会显示运行模型所需的内存。训练需要的更多,正如上面的 QLoRA 数字所示。
- 一个工具。 Unsloth 提供桌面应用、网页界面和代码包,并且可以导出 GGUF 文件。Transformers 是大多数训练框架所基于的参考库。MLX LM 支持在 Mac 上做 LoRA 微调。
分步骤路线
- 写下任务和成功标准。 决定你如何判断一个回答是好的。
- 先尝试提示词和检索。 如果它们已经够用,就到此为止。
- 收集并清洗示例。 删除你无权使用的个人数据,修正错误,保持风格一致。留出 10% 到 20% 作为模型从不训练的测试集。
- 选择基础模型,并确认它的许可证允许微调和你的用途。
- 用较小的学习率,对数据训练几轮 LoRA 或 QLoRA 适配器。 从小处开始,训练过程中查看样例输出。
- 与基线对比。 把留出的例子分别交给配有好提示词的基础模型和你的微调模型,并用同样的方式评判。
- 部署。 把适配器加载到基础模型旁边,合并进权重,或者导出 GGUF 文件供本地工具使用。如何在本地运行 AI 模型讲解了如何使用成果。
微调图像和视频模型
图像和视频生成模型同样用 LoRA 微调。少量图片就能教会一种风格或一个角色,适配器加载到基础模型旁边即可。本站收录的两个细节:
- FLUX 3 Image Klein 除了蒸馏的 16 步版本,还提供专门用于微调的 Klein Base 检查点。
- LTX-2.5 带有训练器和一整套任务 LoRA 库,Wan 2.2 则有庞大的 LoRA 社区生态。
常见陷阱
- 过拟合。 在太少的数据上训练太多轮,模型会复述你的例子,遇到新输入就失败。要看留出数据的结果,而不是训练损失。
- 遗忘。 微调可能丢失通用能力。请测试一些你没有训练过的任务。
- 模板不匹配。 请使用模型原本设计的对话格式,否则结果会以奇怪的方式变差。
- 用训练数据评判。 一定要在模型从未见过的例子上打分。
- 脏数据。 示例里的错误和不一致,会变成模型的习惯。
- 许可证上的意外。 条件会延续到衍生模型上,详见下文。
先检查许可证
微调通常会产生基础模型的衍生品,基础许可证决定了你能用它做什么。Apache 2.0 和 MIT 允许这样做,条件很少。其他许可证会附加条件,并延续到你的成果上:
- FLUX Kommunity 许可证允许 LoRA 微调等衍生模型,分发时需附带许可证和声明。它不允许用该模型或其输出去改进另一个功能类似的模型。
- LTX-2.x Community 许可证规定,微调模型和蒸馏模型都算衍生品,并继续受同一份协议约束。
- LFM Open 许可证允许你在同一份许可证下再分发衍生作品,其 1000 万美元的营收上限对你同样适用。
AI 模型许可证详解介绍了其余内容。
常见问题
- 微调模型需要多少数据?
- 要教会一种风格、一种格式或一个狭窄的任务,几百到几千条高质量的例子通常就够了。要教更广泛的能力,则需要更多。质量比数量更重要:一小批干净、一致的数据,通常胜过一大批杂乱的数据。
- 微调能教会模型新的事实吗?
- 不太可靠。微调更擅长改变行为,比如语气、格式和习惯,而不是增加知识。对于私有的或经常变化的事实,检索增强生成通常是更合适的工具。
- QLoRA 需要多少显存?
- 7B 到 8B 的模型通常可以在一张 16 到 24 GB 的 GPU 上用 QLoRA 微调,具体取决于序列长度和批大小。QLoRA 的作者报告过在一张 48 GB 的 GPU 上微调 65B 的模型。
- 可以微调混合专家模型吗?
- 可以,但更难,也更占内存,因为所有专家都必须加载。稠密模型更容易训练,所以新手通常从 3B 到 32B 的稠密模型开始。
- 我可以出售或发布微调后的模型吗?
- 只有在基础模型的许可证允许衍生品时才可以,而且它的条件通常会延续到你的衍生模型上:许可证副本、署名要求、营收上限或输出规则。Apache 2.0 和 MIT 允许这样做,条件很少。发布之前请先检查许可证。
本文关键术语
- 嵌入模型 嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。
- 微调 微调是在你自己的示例上继续训练一个预训练模型,让它在特定任务、风格或领域里表现得更好。
- LoRA(低秩适配) LoRA 是低秩适配的简称,它通过训练一小组新增的权重来微调模型,而不是改动模型的全部参数。
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
- 检索增强生成(RAG) 检索增强生成让模型能够根据你自己的文档来回答问题:先检索出相关段落,再把它们加入提示词。
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。
本文提到的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen3.8-27B Alibaba Qwen | 27.8B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| Olmo 3.1 Allen Institute for AI (Ai2) | 7.3B – 32.2B | 64K | Apache 2.0 (宽松) | 5.04 GB 笔记本或手机 | |
| Granite 4.2 IBM | 3.7B – 29.3B | 128K | Apache 2.0 (宽松) | 2.55 GB 笔记本或手机 | |
| FLUX 3 Image Klein Black Forest Labs | 5.6B | – | FLUX Kommunity (附条件) | 8 GB 笔记本或手机 | |
| LTX-2.5 LTX (Lightricks) | 22B | – | LTX-2.x Community (附条件) | 16 GB 笔记本或手机 |