Parameter
Parameter sind die Zahlen in einem Modell, die während des Trainings angepasst werden; ihre Anzahl, etwa 7B oder 70B, ist das übliche Maß für die Größe eines Modells.
Ein Parameter ist eine einzelne gelernte Zahl, meist ein Gewicht. Ein Modell mit 7 Milliarden Parametern, geschrieben 7B, speichert sieben Milliarden davon. Mehr Parameter geben einem Modell im Allgemeinen mehr Lernkapazität, bedeuten aber auch einen größeren Download und mehr Speicher zum Ausführen.
Die Zahl kann bei Mixture-of-Experts-Modellen in die Irre führen, die eine Gesamtzahl und eine kleinere aktive Zahl angeben, die pro Token genutzt wird. Ein Modell mit „120B insgesamt, 5B aktiv“ braucht Speicher für die Gesamtzahl, rechnet aber nur mit dem aktiven Teil. Die Parameterzahl allein sagt auch nichts über die Qualität: Trainingsdaten, Trainingsmethode und Architektur sind genauso wichtig.
Verwandte Begriffe
- Mixture of Experts (MoE) Ein Mixture-of-Experts-Modell enthält viele spezialisierte Teilnetzwerke und nutzt pro Token nur wenige davon, wodurch es sehr groß und trotzdem schnell sein kann.
- VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.
- Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.