Modèle dense

Un modèle dense utilise tous ses paramètres pour traiter chaque token, contrairement à un modèle de mélange d'experts, qui n'en active qu'une partie.

  • Modèles et architecture
  • Mis à jour le

Les modèles denses sont plus simples à raisonner. Un modèle dense de 27B a besoin de mémoire pour 27 milliards de paramètres et effectue le travail de 27 milliards de paramètres à chaque token, si bien que sa vitesse et sa consommation mémoire évoluent ensemble. Cela facilite le dimensionnement pour une machine donnée.

Les modèles denses d'environ 20B à 35B de paramètres, comme Qwen3.8-27B et la version 31B de Gemma 4, sont populaires pour tourner sur une seule GPU de jeu ou un portable bien équipé en précision 4 bits.

Termes associés

  • Mélange d'experts (MoE) Un modèle à mélange d'experts contient de nombreux sous-réseaux spécialisés et n'en utilise que quelques-uns pour chaque token, si bien qu'il peut être très grand tout en restant rapide.
  • Paramètres Les paramètres sont les nombres à l'intérieur d'un modèle qui sont ajustés pendant l'entraînement ; leur compte, comme 7B ou 70B, est la mesure habituelle de la taille d'un modèle.

Tous les termes