Quantization-Aware Training (QAT)
Quantization-Aware Training bringt einem Modell schon während des Trainings bei, mit niedrigpräzisen Gewichten zu arbeiten, sodass es bei 4 Bit weniger Qualität verliert als ein nachträglich gestauchtes Modell.
Gewöhnliche Quantisierung wandelt ein fertiges 16-Bit-Modell in weniger Bits um, und der Qualitätsverlust wächst, je kleiner die Bits werden. Beim QAT gehört die niedrige Präzision zum Training, sodass sich die Gewichte daran anpassen. Nanbeige4.3-33B-INT4 wurde so gebaut, mit Destillation aus dem BF16-Modell und Reinforcement Learning auf dem INT4-Modell selbst; das Ergebnis ist etwa 23 GB groß, auch wenn die Modellkarte keine Scores dafür angibt.
Manche Entwickler veröffentlichen niedrigpräzise Gewichte inzwischen als Hauptrelease. Moonshot liefert Kimi K2.7 Code nativ in INT4 aus, bei etwa 595 GB, und MiniMax M3.1 Flash erscheint bereits auf etwa 4 Bit komprimiert. Am sichersten ist es meist, mit den eigenen Niedrigpräzisions-Dateien des Entwicklers zu beginnen und sie in Ihren eigenen Aufgaben zu testen, bevor Sie einer Drittanbieter-Konvertierung vertrauen.
Verwandte Begriffe
- Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.
- Präzision (BF16, FP8, INT4) Präzision ist, wie viele Bits zur Speicherung jeder Zahl in einem Modell verwendet werden, etwa 16-Bit-BF16, 8-Bit-FP8 oder 4-Bit-INT4; weniger Bits bedeuten ein kleineres, schnelleres Modell.
- Destillation Bei der Destillation wird ein kleineres Schülermodell darauf trainiert, ein größeres Lehrermodell nachzuahmen, und behält dabei bei einem Bruchteil der Größe einen Großteil dessen Fähigkeiten.
- Reinforcement Learning (RL) Reinforcement Learning trainiert ein Modell, indem es gute Ergebnisse belohnt, etwa eine richtige Antwort oder bestandene Tests, statt Beispieltext nachzuahmen.