LoRA(저랭크 적응)
LoRA는 저랭크 적응(Low-Rank Adaptation)의 줄임말로, 모델의 모든 파라미터를 바꾸는 대신 소수의 추가 가중치를 학습시켜 파인튜닝합니다.
LoRA 어댑터는 보통 수십~수백 MB에 불과하고 베이스 모델은 그대로 유지됩니다. 작은 어댑터만 학습되므로 파인튜닝에 필요한 GPU 메모리가 훨씬 적고, 하나의 베이스 모델에 여러 어댑터를 붙일 수 있습니다.
이미지 생성 모델은 LoRA를 많이 씁니다. 사진 몇 장으로 스타일이나 캐릭터를 가르칠 수 있고, 어댑터는 베이스 모델 옆에 얹어 불러옵니다. QLoRA처럼 양자화된 베이스 모델 위에서 학습하는 변형은 필요한 메모리를 더 줄여 줍니다.
관련 용어
- 파인튜닝(Fine-tuning) 파인튜닝은 사전 학습된 모델의 학습을 자신의 예제로 이어서, 특정 작업·스타일·도메인에서 더 잘 동작하도록 만드는 것입니다.
- 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.