Looped Transformer (Schleifen-Transformer)

Ein Looped Transformer führt einige seiner eigenen Schichten pro Token mehrfach erneut aus und erhält dadurch mehr Rechenleistung, ohne mehr Parameter zu speichern.

  • Modelle und Architektur
  • Aktualisiert

Ein normales Modell lässt jedes Token jede Schicht einmal durchlaufen. Ein gelooptes Modell verwendet einen Block von Schichten mit geteilten Gewichten wieder und führt ihn zwei- oder mehrmals aus, was Tiefe hinzufügt, ohne gespeicherte Parameter zu vermehren. NVIDIAs Dory1.0-4B führt einen 20-Schichten-Block ein bis viermal erneut aus, die Anzahl wählen Sie beim Start des Servers. SenseTimes SenseNova-Loop-9B-Preview speichert 32 Schichten, wobei die Schichten 4 bis 27 zweimal laufen.

Die Gewichte bleiben klein, aber jedes Token kostet mehr Zeit, und in Dory hält jeder Loop standardmäßig seinen eigenen KV-Cache, wobei ein Last-Loop-Modus den Speicher auf die Größe eines einzelnen Loops hält. Eine Parameterzahl unterschätzt also den Aufwand, und die Laufzeitunterstützung ist dünn: SenseNova-Loop braucht eigenen Code, und Dorys GGUF-Weg erfordert einen gepinnten llama.cpp-Build. Prüfen Sie, ob Ihre Tools ein gelooptes Modell unterstützen, bevor Sie darauf planen.

Verwandte Begriffe

  • Parameter Parameter sind die Zahlen in einem Modell, die während des Trainings angepasst werden; ihre Anzahl, etwa 7B oder 70B, ist das übliche Maß für die Größe eines Modells.
  • KV-Cache Der KV-Cache ist der Speicher, den ein Modell nutzt, um sich die früheren Tokens einer Konversation zu merken, und er wächst mit der Länge des Kontexts.
  • Reasoning-Modell Ein Reasoning-Modell arbeitet ein Problem Schritt für Schritt in einer sichtbaren oder verborgenen „Denk“-Phase durch, bevor es seine endgültige Antwort gibt.
  • Effiziente Aufmerksamkeit (Sparse, Linear und Hybrid) Effiziente Attention-Designs ermöglichen es einem Modell, sehr lange Eingaben mit deutlich weniger Speicher und Rechenleistung als Standard-Attention zu verarbeiten, indem es weniger Tokens betrachtet oder die Vergangenheit komprimiert.

Alle Begriffe