Mélange d'experts (MoE)

Un modèle à mélange d'experts contient de nombreux sous-réseaux spécialisés et n'en utilise que quelques-uns pour chaque token, si bien qu'il peut être très grand tout en restant rapide.

  • Modèles et architecture
  • Mis à jour le

Dans un modèle dense, chaque paramètre sert pour chaque token. Un modèle MoE scinde une partie du réseau en « experts », et un petit routeur en choisit quelques-uns pour chaque token. DeepSeek V4.1 Flash, par exemple, compte environ 552 milliards de paramètres au total mais n'en utilise que 16 milliards par token.

Le hic, c'est la mémoire. Tous les experts doivent être chargés même si seuls certains s'exécutent, donc un modèle MoE exige de la mémoire pour sa taille totale, tandis que sa vitesse se rapproche de celle d'un modèle dense bien plus petit. C'est pourquoi ce site liste les modèles MoE avec à la fois un nombre total et un nombre de paramètres actifs.

Termes associés

  • Modèle dense Un modèle dense utilise tous ses paramètres pour traiter chaque token, contrairement à un modèle de mélange d'experts, qui n'en active qu'une partie.
  • Paramètres Les paramètres sont les nombres à l'intérieur d'un modèle qui sont ajustés pendant l'entraînement ; leur compte, comme 7B ou 70B, est la mesure habituelle de la taille d'un modèle.
  • VRAM La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.

Tous les termes