Destillation

Bei der Destillation wird ein kleineres Schülermodell darauf trainiert, ein größeres Lehrermodell nachzuahmen, und behält dabei bei einem Bruchteil der Größe einen Großteil dessen Fähigkeiten.

  • Modelle und Architektur
  • Aktualisiert

Das Schülermodell lernt aus den Ausgaben des Lehrermodells statt nur aus den Rohdaten. So erreichen viele kompakte Modelle starke Ergebnisse, und das Verfahren macht auch Bildmodelle schneller: Das distillierte FLUX Klein braucht deutlich weniger Sampling-Schritte als seine nicht distillierte Base-Version.

Manche Lizenzen beschränken die Nutzung der Ausgaben eines Modells zum Training eines anderen Modells. Prüfen Sie daher die Bedingungen, bevor Sie ein offenes Modell in Ihr eigenes Modell destillieren.

Verwandte Begriffe

  • Fine-Tuning (Feinabstimmung) Beim Fine-Tuning wird das Training eines vortrainierten Modells mit Ihren eigenen Beispielen fortgesetzt, damit es sich bei einer bestimmten Aufgabe, einem Stil oder einem Fachgebiet besser verhält.
  • Parameter Parameter sind die Zahlen in einem Modell, die während des Trainings angepasst werden; ihre Anzahl, etwa 7B oder 70B, ist das übliche Maß für die Größe eines Modells.

Alle Begriffe