Mixture of Experts (MoE)
Ein Mixture-of-Experts-Modell enthält viele spezialisierte Teilnetzwerke und nutzt pro Token nur wenige davon, wodurch es sehr groß und trotzdem schnell sein kann.
In einem dichten Modell wird jeder Parameter für jedes Token verwendet. Ein MoE-Modell teilt einen Teil des Netzwerks in 'Experten' auf, und ein kleiner Router wählt pro Token einige davon aus. DeepSeek V4.1 Flash hat zum Beispiel insgesamt rund 552 Milliarden Parameter, nutzt pro Token aber nur 16 Milliarden.
Der Haken ist der Speicher. Alle Experten müssen geladen sein, auch wenn nur einige laufen, daher braucht ein MoE-Modell Speicher für seine Gesamtgröße, während seine Geschwindigkeit näher an der eines viel kleineren dichten Modells liegt. Deshalb führt diese Website MoE-Modelle sowohl mit einer Gesamt- als auch mit einer aktiven Parameterzahl.
Verwandte Begriffe
- Dichtes Modell Ein dichtes Modell verwendet alle seine Parameter, um jeden Token zu verarbeiten, anders als ein Mixture-of-Experts-Modell, das nur einen Teil davon aktiviert.
- Parameter Parameter sind die Zahlen in einem Modell, die während des Trainings angepasst werden; ihre Anzahl, etwa 7B oder 70B, ist das übliche Maß für die Größe eines Modells.
- VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.