KV-Cache

Der KV-Cache ist der Speicher, den ein Modell nutzt, um sich die früheren Tokens einer Konversation zu merken, und er wächst mit der Länge des Kontexts.

  • Hardware und Speicher
  • Aktualisiert

Um jedes neue Token zu erzeugen, blickt das Modell auf alle früheren Tokens zurück. Statt sie jedes Mal neu zu berechnen, speichert es Zwischenergebnisse, sogenannte Keys und Values, im KV-Cache. Das macht die Generierung schnell, kostet aber Speicher.

Der Cache wächst mit der Kontextlänge und mit der Zahl gleichzeitiger Nutzer, daher kann ein langer Kontext oder eine große Nutzerzahl genauso viel Speicher belegen wie die Gewichte selbst. Engines wie vLLM verwalten den Cache mit Techniken wie PagedAttention, und manche Modellarchitekturen sind darauf ausgelegt, ihn klein zu halten.

Verwandte Begriffe

  • Kontextfenster Das Kontextfenster ist die maximale Textmenge, gemessen in Tokens, die ein Modell auf einmal berücksichtigen kann, einschließlich Ihres Prompts und seiner eigenen Antwort.
  • VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.
  • Inferenz Inferenz bedeutet, ein trainiertes Modell auszuführen, um eine Ausgabe zu erhalten, etwa einen Prompt zu beantworten, im Gegensatz zum Training des Modells.

Alle Begriffe