Quantisierung
Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.
Ein 16-Bit-Gewicht nimmt 2 Bytes ein, ein 4-Bit-Gewicht etwa ein halbes Byte. Ein Modell von 16 Bit auf 4 Bit zu quantisieren verkleinert es daher auf rund ein Viertel seiner Größe – oft der Unterschied zwischen „braucht einen Server“ und „passt auf eine Gaming-GPU“.
Gebräuchliche Formate sind FP8, INT8 und INT4, dazu neuere 4-Bit-Gleitpunktformate wie MXFP4 und NVFP4. Das von llama.cpp verwendete GGUF-Format unterstützt viele Quantisierungsstufen. Je weniger Bits, desto größer das Risiko eines Qualitätsverlusts, besonders bei kleinen Modellen. Testen Sie also auf der Stufe, die Sie nutzen wollen.
Verwandte Begriffe
- Präzision (BF16, FP8, INT4) Präzision ist, wie viele Bits zur Speicherung jeder Zahl in einem Modell verwendet werden, etwa 16-Bit-BF16, 8-Bit-FP8 oder 4-Bit-INT4; weniger Bits bedeuten ein kleineres, schnelleres Modell.
- GGUF GGUF ist ein Ein-Datei-Modellformat, das llama.cpp und die darauf aufbauenden Tools verwenden, und das quantisierte Gewichte zusammen mit den nötigen Informationen zu ihrer Ausführung bündelt.
- VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.