Modèle dense
Un modèle dense utilise tous ses paramètres pour traiter chaque token, contrairement à un modèle de mélange d'experts, qui n'en active qu'une partie.
Les modèles denses sont plus simples à raisonner. Un modèle dense de 27B a besoin de mémoire pour 27 milliards de paramètres et effectue le travail de 27 milliards de paramètres à chaque token, si bien que sa vitesse et sa consommation mémoire évoluent ensemble. Cela facilite le dimensionnement pour une machine donnée.
Les modèles denses d'environ 20B à 35B de paramètres, comme Qwen3.8-27B et la version 31B de Gemma 4, sont populaires pour tourner sur une seule GPU de jeu ou un portable bien équipé en précision 4 bits.
Termes associés
- Mélange d'experts (MoE) Un modèle à mélange d'experts contient de nombreux sous-réseaux spécialisés et n'en utilise que quelques-uns pour chaque token, si bien qu'il peut être très grand tout en restant rapide.
- Paramètres Les paramètres sont les nombres à l'intérieur d'un modèle qui sont ajustés pendant l'entraînement ; leur compte, comme 7B ou 70B, est la mesure habituelle de la taille d'un modèle.