Fine-Tuning (Feinabstimmung)

Beim Fine-Tuning wird das Training eines vortrainierten Modells mit Ihren eigenen Beispielen fortgesetzt, damit es sich bei einer bestimmten Aufgabe, einem Stil oder einem Fachgebiet besser verhält.

  • Modelle verwenden
  • Aktualisiert

Statt von Grund auf zu trainieren, nehmen Sie ein offenes Modell als Ausgangspunkt und passen es mit einem viel kleineren Datensatz an, zum Beispiel mit Ihren Support-Tickets oder einem bestimmten Schreibstil. Methoden wie LoRA aktualisieren nur einen kleinen Satz zusätzlicher Gewichte, wodurch Fine-Tuning auf einer einzelnen GPU möglich wird.

Ob Sie ein Modell feinabstimmen und das Ergebnis weitergeben dürfen, hängt von seiner Lizenz ab. Permissive Lizenzen wie Apache 2.0 erlauben es, andere fügen Bedingungen hinzu, etwa Namensvorgaben oder Umsatzgrenzen. Fine-Tuning braucht auch mehr Speicher als Inferenz, weil das Training für jeden Parameter zusätzliche Daten speichert.

Verwandte Begriffe

  • LoRA (Low-Rank-Adaption) LoRA, kurz für Low-Rank Adaptation, feinjustiert ein Modell, indem es einen kleinen Satz hinzugefügter Gewichte trainiert, statt alle Parameter zu verändern.
  • Destillation Bei der Destillation wird ein kleineres Schülermodell darauf trainiert, ein größeres Lehrermodell nachzuahmen, und behält dabei bei einem Bruchteil der Größe einen Großteil dessen Fähigkeiten.
  • Offene Gewichte (Open Weights) Ein Modell mit offenen Gewichten ist ein KI-Modell, dessen trainierte Parameter, die Gewichte, veröffentlicht sind, sodass jeder es herunterladen und ausführen kann, meist unter einer Lizenz, die die Nutzungsbedingungen festlegt.

Alle Begriffe