Unified Memory
Unified Memory ist ein Design, das Apple-Silicon und einige andere Chips verwenden: CPU und GPU teilen sich einen gemeinsamen Speicher, sodass ein großes Modell den Großteil davon nutzen kann.
Auf einem typischen PC hat die Grafikkarte einen eigenen, begrenzten VRAM. Auf einem Mac mit Apple Silicon und auf Systemen wie AMD Strix Halo und NVIDIA DGX Spark teilen sich Prozessor und Grafik einen einzigen Speicher, sodass eine Maschine mit 128 GB ein Modell fassen kann, das in keine 24-GB-Grafikkarte passt.
Der Nachteil ist die Geschwindigkeit. Unified Memory ist meist langsamer als der Speicher auf High-End-GPUs, große Modelle laufen also, aber mit weniger Token pro Sekunde. Die Stufe „Desktop mit großem Speicher“ auf dieser Seite bezeichnet diese Klasse von Maschinen.
Verwandte Begriffe
- VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.
- Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.