Speculative Decoding und Multi-Token-Prediction
Speculative Decoding beschleunigt die Texterzeugung, indem ein billiger Entwurf mehrere Token im Voraus rät und das volle Modell sie alle auf einmal prüft.
Ein Sprachmodell schreibt normalerweise ein Token nach dem anderen, und jedes Token erfordert einen vollständigen Durchlauf durch das Modell. Beim Speculative Decoding schlägt ein kleines Entwurfsmodell oder eine zusätzliche Vorhersage-Schicht im Modell mehrere nächste Token vor. Das Hauptmodell prüft sie in einem einzigen Durchlauf und behält die, denen es zustimmt – in Standardimplementierungen ist die Ausgabe also genau das, was es allein geschrieben hätte, nur schneller.
Viele aktuelle Modelle liefern dafür eine Multi-Token-Prediction-Schicht (MTP) mit, zum Beispiel Hy3 und die Familien DeepSeek V4 und GLM-5, und Inferenzserver wie vLLM und SGLang können sie nutzen. Am meisten hilft es bei vorhersagbarem Text wie Code und kostet etwas zusätzlichen Speicher. Prüfen Sie, ob Ihr Server die MTP-Schicht eines Modells unterstützt, denn Unterstützung und Einstellungen unterscheiden sich je nach Tool.
Verwandte Begriffe
- Inferenz Inferenz bedeutet, ein trainiertes Modell auszuführen, um eine Ausgabe zu erhalten, etwa einen Prompt zu beantworten, im Gegensatz zum Training des Modells.
- KV-Cache Der KV-Cache ist der Speicher, den ein Modell nutzt, um sich die früheren Tokens einer Konversation zu merken, und er wächst mit der Länge des Kontexts.
- Token Ein Token ist ein kleines Stück Text, oft ein Wort oder ein Teil eines Wortes, das ein Sprachmodell liest und schreibt; Modelle messen Länge und Geschwindigkeit in Token.