Looped Transformer (Schleifen-Transformer)
Ein Looped Transformer führt einige seiner eigenen Schichten pro Token mehrfach erneut aus und erhält dadurch mehr Rechenleistung, ohne mehr Parameter zu speichern.
Ein normales Modell lässt jedes Token jede Schicht einmal durchlaufen. Ein gelooptes Modell verwendet einen Block von Schichten mit geteilten Gewichten wieder und führt ihn zwei- oder mehrmals aus, was Tiefe hinzufügt, ohne gespeicherte Parameter zu vermehren. NVIDIAs Dory1.0-4B führt einen 20-Schichten-Block ein bis viermal erneut aus, die Anzahl wählen Sie beim Start des Servers. SenseTimes SenseNova-Loop-9B-Preview speichert 32 Schichten, wobei die Schichten 4 bis 27 zweimal laufen.
Die Gewichte bleiben klein, aber jedes Token kostet mehr Zeit, und in Dory hält jeder Loop standardmäßig seinen eigenen KV-Cache, wobei ein Last-Loop-Modus den Speicher auf die Größe eines einzelnen Loops hält. Eine Parameterzahl unterschätzt also den Aufwand, und die Laufzeitunterstützung ist dünn: SenseNova-Loop braucht eigenen Code, und Dorys GGUF-Weg erfordert einen gepinnten llama.cpp-Build. Prüfen Sie, ob Ihre Tools ein gelooptes Modell unterstützen, bevor Sie darauf planen.
Verwandte Begriffe
- Parameter Parameter sind die Zahlen in einem Modell, die während des Trainings angepasst werden; ihre Anzahl, etwa 7B oder 70B, ist das übliche Maß für die Größe eines Modells.
- KV-Cache Der KV-Cache ist der Speicher, den ein Modell nutzt, um sich die früheren Tokens einer Konversation zu merken, und er wächst mit der Länge des Kontexts.
- Reasoning-Modell Ein Reasoning-Modell arbeitet ein Problem Schritt für Schritt in einer sichtbaren oder verborgenen „Denk“-Phase durch, bevor es seine endgültige Antwort gibt.
- Effiziente Aufmerksamkeit (Sparse, Linear und Hybrid) Effiziente Attention-Designs ermöglichen es einem Modell, sehr lange Eingaben mit deutlich weniger Speicher und Rechenleistung als Standard-Attention zu verarbeiten, indem es weniger Tokens betrachtet oder die Vergangenheit komprimiert.