Dichtes Modell

Ein dichtes Modell verwendet alle seine Parameter, um jeden Token zu verarbeiten, anders als ein Mixture-of-Experts-Modell, das nur einen Teil davon aktiviert.

  • Modelle und Architektur
  • Aktualisiert

Dichte Modelle sind einfacher abzuschätzen. Ein 27B-dichtes Modell braucht Speicher für 27 Milliarden Parameter und leistet bei jedem Token die Arbeit von 27 Milliarden Parametern, sodass Tempo und Speicherverbrauch zusammenwachsen. Das erleichtert die Dimensionierung für einen bestimmten Rechner.

Dichte Modelle mit rund 20B bis 35B Parametern, wie Qwen3.8-27B und die 31B-Version von Gemma 4, sind beliebt, um sie in 4-Bit-Präzision auf einer einzelnen Gaming-GPU oder einem gut ausgestatteten Laptop laufen zu lassen.

Verwandte Begriffe

  • Mixture of Experts (MoE) Ein Mixture-of-Experts-Modell enthält viele spezialisierte Teilnetzwerke und nutzt pro Token nur wenige davon, wodurch es sehr groß und trotzdem schnell sein kann.
  • Parameter Parameter sind die Zahlen in einem Modell, die während des Trainings angepasst werden; ihre Anzahl, etwa 7B oder 70B, ist das übliche Maß für die Größe eines Modells.

Alle Begriffe