Ternäre Gewichte (1,58 Bit)

Ternäre Gewichte beschränken jedes Modellgewicht auf einen von drei Werten, -1, 0 oder +1, sodass ein Modell weniger als 2 Bit pro Gewicht statt 16 braucht.

  • Hardware und Speicher
  • Aktualisiert

Drei Werte tragen log2(3), etwa 1,58 Bit Information, daher nennt man ternäre Modelle oft 1,58-Bit-Modelle. Echte Dateien brauchen etwas mehr, denn jede Gewichtsgruppe speichert zusätzlich einen Skalierungsfaktor. PrismMLs Ternary Bonsai 2 verwendet eine 16-Bit-Skala je 128 Gewichte, was rund 1,7 Bit pro Gewicht ergibt und das Modell auf etwa ein Neuntel seiner 16-Bit-Größe schrumpfen lässt.

Ternäre Gewichte sind eine extreme Form der Quantisierung. Die Qualität leidet, bei kleinen Modellen mehr als bei großen, und die Dateien brauchen meist eine eigene Laufzeitumgebung: Ternary Bonsai 2s kompakteste Packungen laufen auf PrismMLs llama.cpp-Fork. Unser VRAM-Rechner zählt ternäre Dateien mit 0,22 Byte pro Parameter.

Verwandte Begriffe

  • Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.
  • Präzision (BF16, FP8, INT4) Präzision ist, wie viele Bits zur Speicherung jeder Zahl in einem Modell verwendet werden, etwa 16-Bit-BF16, 8-Bit-FP8 oder 4-Bit-INT4; weniger Bits bedeuten ein kleineres, schnelleres Modell.
  • GGUF GGUF ist ein Ein-Datei-Modellformat, das llama.cpp und die darauf aufbauenden Tools verwenden, und das quantisierte Gewichte zusammen mit den nötigen Informationen zu ihrer Ausführung bündelt.

Alle Begriffe