Kontextfenster

Das Kontextfenster ist die maximale Textmenge, gemessen in Tokens, die ein Modell auf einmal berücksichtigen kann, einschließlich Ihres Prompts und seiner eigenen Antwort.

  • Grundlagen
  • Aktualisiert

Ein 128K-Fenster fasst etwa 128.000 Tokens, ungefähr ein Buch mit 300 Seiten, und ein 1M-Fenster ist achtmal so viel. Alles, was das Modell verwenden soll – Dokumente, Chatverlauf, Anweisungen –, muss hineinpassen, zusammen mit der Antwort, die es schreibt.

Längere Fenster helfen bei großen Dokumenten und Codebasen, kosten aber Speicher. Der KV-Cache, der die Konversation speichert, wächst mit der Tokenzahl; ein sehr langer Kontext auf Ihrem eigenen Rechner braucht daher weit mehr Speicher als die Gewichte allein. Das beworbene Fenster ist zudem ein Maximum: Bei sehr langen Eingaben kann die Qualität sinken, testen Sie also mit Ihrem eigenen Material.

Verwandte Begriffe

  • Token Ein Token ist ein kleines Stück Text, oft ein Wort oder ein Teil eines Wortes, das ein Sprachmodell liest und schreibt; Modelle messen Länge und Geschwindigkeit in Token.
  • KV-Cache Der KV-Cache ist der Speicher, den ein Modell nutzt, um sich die früheren Tokens einer Konversation zu merken, und er wächst mit der Länge des Kontexts.
  • VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.

Alle Begriffe