VRAM

VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.

  • Hardware und Speicher
  • Aktualisiert

Die Gewichte eines Modells müssen zuerst in den Speicher geladen werden, bevor es antworten kann. Auf einer GPU ist das der VRAM. Passt das Modell nicht, verweigert die Software das Laden oder lagert in den langsameren Systemspeicher aus, und die Erzeugung wird deutlich langsamer.

Als Faustregel gilt: Der benötigte Speicher in Gigabyte entspricht etwa der Parameterzahl in Milliarden multipliziert mit den Bytes pro Parameter, plus rund 15 % Overhead, und bei langen Kontexten mehr. Bei 4-Bit-Präzision braucht ein 30B-Modell rund 20 GB. Der VRAM-Rechner auf dieser Seite schätzt das für ein konkretes Modell bei mehreren Präzisionen.

Verwandte Begriffe

  • Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.
  • Unified Memory Unified Memory ist ein Design, das Apple-Silicon und einige andere Chips verwenden: CPU und GPU teilen sich einen gemeinsamen Speicher, sodass ein großes Modell den Großteil davon nutzen kann.
  • KV-Cache Der KV-Cache ist der Speicher, den ein Modell nutzt, um sich die früheren Tokens einer Konversation zu merken, und er wächst mit der Länge des Kontexts.

Alle Begriffe