LoRA (Low-Rank-Adaption)
LoRA, kurz für Low-Rank Adaptation, feinjustiert ein Modell, indem es einen kleinen Satz hinzugefügter Gewichte trainiert, statt alle Parameter zu verändern.
Ein LoRA-Adapter ist typischerweise einige Dutzend bis Hunderte Megabyte groß, während das Basismodell unverändert bleibt. Da nur der kleine Adapter trainiert wird, braucht Fine-Tuning deutlich weniger GPU-Speicher, und ein Basismodell kann mit vielen Adaptern kombiniert werden.
Bildgeneratoren setzen stark auf LoRAs: Eine Handvoll Bilder kann einen Stil oder eine Figur beibringen, und der Adapter wird neben dem Basismodell geladen. Varianten, die auf einem quantisierten Basismodell trainieren, wie QLoRA, senken den Speicherbedarf noch weiter.
Verwandte Begriffe
- Fine-Tuning (Feinabstimmung) Beim Fine-Tuning wird das Training eines vortrainierten Modells mit Ihren eigenen Beispielen fortgesetzt, damit es sich bei einer bestimmten Aufgabe, einem Stil oder einem Fachgebiet besser verhält.
- Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.