Effiziente Aufmerksamkeit (Sparse, Linear und Hybrid)
Effiziente Attention-Designs ermöglichen es einem Modell, sehr lange Eingaben mit deutlich weniger Speicher und Rechenleistung als Standard-Attention zu verarbeiten, indem es weniger Tokens betrachtet oder die Vergangenheit komprimiert.
Standard-Attention vergleicht jedes Token mit allen früheren Tokens, daher wächst der Aufwand mit dem Quadrat der Eingabelänge und der KV-Cache wächst mit jedem Token. Bei einem Kontext von 1 Million Tokens ist das sehr teuer. Sparse Attention lässt jedes Token nur eine ausgewählte Teilmenge der früheren Tokens betrachten. Lineare Attention und State-Space-Schichten wie Mamba komprimieren die Vergangenheit stattdessen in einen Zustand fester Größe. Hybride Designs kombinieren wenige Full-Attention-Schichten mit vielen günstigeren.
Neue offene Modelle nutzen diese Ideen. DeepSeek V4, GLM 5.3 und MiniMax M3 setzen Sparse Attention ein, Kimi K3.1 Pro kombiniert die lineare Kimi Delta Attention mit Sparse Attention, Qwen3.5 und Ling 3.1 Flash verwenden lineare-Attention-Designs, und NVIDIAs Nemotron 3 Ultra wechselt Mamba-2-Schichten mit wenigen Attention-Schichten ab. Der Gewinn sind ein kleinerer KV-Cache und günstigeres Serving langer Kontexte. Der Preis ist der Support, denn diese Modelle brauchen oft bestimmte vLLM- oder SGLang-Builds, und die Qualität bei sehr langen Eingaben sollten Sie an Ihrem eigenen Material testen.
Verwandte Begriffe
- KV-Cache Der KV-Cache ist der Speicher, den ein Modell nutzt, um sich die früheren Tokens einer Konversation zu merken, und er wächst mit der Länge des Kontexts.
- Kontextfenster Das Kontextfenster ist die maximale Textmenge, gemessen in Tokens, die ein Modell auf einmal berücksichtigen kann, einschließlich Ihres Prompts und seiner eigenen Antwort.
- Inferenz Inferenz bedeutet, ein trainiertes Modell auszuführen, um eine Ausgabe zu erhalten, etwa einen Prompt zu beantworten, im Gegensatz zum Training des Modells.
- Mixture of Experts (MoE) Ein Mixture-of-Experts-Modell enthält viele spezialisierte Teilnetzwerke und nutzt pro Token nur wenige davon, wodurch es sehr groß und trotzdem schnell sein kann.