LoRA(低秩适配)
LoRA 是低秩适配的简称,它通过训练一小组新增的权重来微调模型,而不是改动模型的全部参数。
一个 LoRA 适配器通常只有几十到几百 MB,基础模型保持不变。由于只训练这个小适配器,微调所需的 GPU 显存少得多,同一个基础模型还可以搭配许多适配器。
图像生成模型大量使用 LoRA:几张图片就能教会它一种风格或一个角色,适配器与基础模型一起加载。QLoRA 之类在量化后的基础模型上训练的变体,会让所需内存进一步降低。
相关术语
- 微调 微调是在你自己的示例上继续训练一个预训练模型,让它在特定任务、风格或领域里表现得更好。
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
继续阅读
全部术语