Basismodell (Base model)

Ein Basismodell ist das rohe Ergebnis des Pretrainings, bevor es gelernt hat, Anweisungen zu befolgen oder zu chatten; es ist der übliche Ausgangspunkt fürs Fine-Tuning.

  • Modelle und Architektur
  • Aktualisiert

Pretraining mit riesigen Textmengen erzeugt ein Basismodell, das Text fortsetzt, aber Fragen nicht zuverlässig beantwortet oder Anweisungen befolgt. Post-Training, etwa Instruction Tuning und oft Reinforcement Learning, macht daraus das Chat- oder „Instruct“-Modell, das die meisten Menschen nutzen. Ein Entwickler, der auch das Basismodell veröffentlicht, ermöglicht Ihnen eigenes Post-Training.

Der Begriff wird locker verwendet. Bei Sprachmodellen meint er den Checkpoint vor dem Instruction Tuning, wie bei Thinking Machines' Inkling, das als Basis zur Anpassung veröffentlicht wurde. Bei Bildmodellen wie Z-Image bedeutet „Basis“ das undistillierte Modell, das langsamer ist, aber vielfältigere Ergebnisse liefert und ein besserer Startpunkt fürs Fine-Tuning ist als die schnelle destillierte Turbo-Version.

Verwandte Begriffe

  • Fine-Tuning (Feinabstimmung) Beim Fine-Tuning wird das Training eines vortrainierten Modells mit Ihren eigenen Beispielen fortgesetzt, damit es sich bei einer bestimmten Aufgabe, einem Stil oder einem Fachgebiet besser verhält.
  • Destillation Bei der Destillation wird ein kleineres Schülermodell darauf trainiert, ein größeres Lehrermodell nachzuahmen, und behält dabei bei einem Bruchteil der Größe einen Großteil dessen Fähigkeiten.
  • LoRA (Low-Rank-Adaption) LoRA, kurz für Low-Rank Adaptation, feinjustiert ein Modell, indem es einen kleinen Satz hinzugefügter Gewichte trainiert, statt alle Parameter zu verändern.
  • Reinforcement Learning (RL) Reinforcement Learning trainiert ein Modell, indem es gute Ergebnisse belohnt, etwa eine richtige Antwort oder bestandene Tests, statt Beispieltext nachzuahmen.

Alle Begriffe