Präzision (BF16, FP8, INT4)

Präzision ist, wie viele Bits zur Speicherung jeder Zahl in einem Modell verwendet werden, etwa 16-Bit-BF16, 8-Bit-FP8 oder 4-Bit-INT4; weniger Bits bedeuten ein kleineres, schnelleres Modell.

  • Hardware und Speicher
  • Aktualisiert

Modelle werden meist in 16-Bit-Formaten wie BF16 trainiert. Eine Veröffentlichung kann auch in geringerer Präzision angeboten werden: FP8 und INT8 nutzen ein Byte pro Gewicht, INT4 und FP4 ein halbes Byte. Ein 30B-Modell ist etwa 60 GB in BF16, 30 GB in FP8 und 15 GB in 4 Bit, vor Overhead.

Jede Modellseite auf dieser Website listet die Präzision jeder ausgelieferten Variante auf, und ihre Speichertabelle schätzt den Bedarf bei BF16, FP8 und 4 Bit.

Verwandte Begriffe

  • Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.
  • VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.

Alle Begriffe