Attention efficace (sparse, linéaire et hybride)
Les conceptions d'attention efficace permettent à un modèle de lire des entrées très longues avec bien moins de mémoire et de calcul que l'attention standard, en regardant moins de tokens ou en compressant le passé.
L'attention standard compare chaque token à tous les tokens précédents : le travail croît avec le carré de la longueur de l'entrée et le cache KV grossit à chaque token. Avec un contexte d'un million de tokens, cela devient très coûteux. L'attention sparse fait que chaque token ne regarde qu'un sous-ensemble choisi des tokens précédents. L'attention linéaire et les couches d'espace d'états comme Mamba compressent le passé dans un état de taille fixe. Les conceptions hybrides mêlent quelques couches d'attention complète à de nombreuses couches moins coûteuses.
Les modèles ouverts récents mettent en œuvre ces idées. DeepSeek V4, GLM 5.3 et MiniMax M3 utilisent l'attention sparse, Kimi K3.1 Pro combine la Kimi Delta Attention linéaire avec de l'attention sparse, Qwen3.5 et Ling 3.1 Flash adoptent des conceptions d'attention linéaire, et le Nemotron 3 Ultra de NVIDIA intercale des couches Mamba-2 avec quelques couches d'attention. Le gain est un cache KV plus petit et un service de contexte long moins cher. La contrepartie est le support, car ces modèles exigent souvent des builds spécifiques de vLLM ou de SGLang, et la qualité sur de très longues entrées doit être testée sur vos propres contenus.
Termes associés
- Cache KV Le cache KV est la mémoire qu'utilise un modèle pour se souvenir des tokens précédents d'une conversation, et il grandit avec la longueur du contexte.
- Fenêtre de contexte La fenêtre de contexte est la quantité maximale de texte, mesurée en tokens, qu'un modèle peut prendre en compte à la fois, y compris votre prompt et sa propre réponse.
- Inférence L'inférence consiste à exécuter un modèle entraîné pour obtenir une sortie, par exemple répondre à un prompt, par opposition à son entraînement.
- Mélange d'experts (MoE) Un modèle à mélange d'experts contient de nombreux sous-réseaux spécialisés et n'en utilise que quelques-uns pour chaque token, si bien qu'il peut être très grand tout en restant rapide.