Reinforcement Learning (RL)
Reinforcement Learning trainiert ein Modell, indem es gute Ergebnisse belohnt, etwa eine richtige Antwort oder bestandene Tests, statt Beispieltext nachzuahmen.
Beim gewöhnlichen Training lernt ein Modell, Text nachzuahmen. Beim Reinforcement Learning probiert es etwas aus, ein Score sagt, wie gut es lief, und das Modell wird in Richtung der besser bewerteten Versuche geschoben. Der Score kann von einem Prüfer stammen, etwa ob Code seine Tests besteht oder eine Mathe-Antwort richtig ist, oder von einem Modell, das menschliche Präferenzen vertritt.
Viele aktuelle Reasoning-Modelle und Coding-Agenten werden so nachtrainiert; Xiaomis MiMo V2.6 und DeepReinforces Ornith beschreiben beide Reinforcement-Learning-Läufe. Eine Belohnung ist nur so gut wie ihr Prüfer, daher verbessert RL ein Modell tendenziell bei den Aufgabentypen, für die es belohnt wurde. Ergebnisse werden meist von den Entwicklern selbst berichtet.
Verwandte Begriffe
- Reasoning-Modell Ein Reasoning-Modell arbeitet ein Problem Schritt für Schritt in einer sichtbaren oder verborgenen „Denk“-Phase durch, bevor es seine endgültige Antwort gibt.
- Fine-Tuning (Feinabstimmung) Beim Fine-Tuning wird das Training eines vortrainierten Modells mit Ihren eigenen Beispielen fortgesetzt, damit es sich bei einer bestimmten Aufgabe, einem Stil oder einem Fachgebiet besser verhält.
- KI-Agent Ein KI-Agent ist ein System, in dem ein Modell mehrstufige Aufgaben plant und ausführt, indem es Tools aufruft, etwa Code ausführen, das Web durchsuchen oder Dateien bearbeiten.