Transformer bouclé (looped transformer)

Un transformer bouclé réexécute certaines de ses propres couches plusieurs fois pour chaque token, gagnant ainsi du calcul sans stocker davantage de paramètres.

  • Modèles et architecture
  • Mis à jour le

Un modèle normal fait passer chaque token par chaque couche une fois. Un modèle bouclé réutilise un bloc de couches à poids partagés et l'exécute deux fois ou plus, ce qui ajoute de la profondeur sans ajouter de paramètres stockés. Le Dory1.0-4B de NVIDIA réexécute un bloc de 20 couches de une à quatre fois, le nombre étant choisi au démarrage du serveur. Le SenseNova-Loop-9B-Preview de SenseTime stocke 32 couches, mais les couches 4 à 27 s'exécutent deux fois.

Les poids restent petits, mais chaque token coûte plus de temps, et dans Dory chaque boucle garde par défaut son propre cache KV, même si un mode dernière boucle conserve la mémoire à la taille d'une seule boucle. Un nombre de paramètres sous-estime donc le travail, et le support à l'exécution est maigre : SenseNova-Loop exige du code spécifique, et la route GGUF de Dory requiert un build épinglé de llama.cpp. Vérifiez que vos outils gèrent un modèle bouclé avant de bâtir vos plans dessus.

Termes associés

  • Paramètres Les paramètres sont les nombres à l'intérieur d'un modèle qui sont ajustés pendant l'entraînement ; leur compte, comme 7B ou 70B, est la mesure habituelle de la taille d'un modèle.
  • Cache KV Le cache KV est la mémoire qu'utilise un modèle pour se souvenir des tokens précédents d'une conversation, et il grandit avec la longueur du contexte.
  • Modèle de raisonnement Un modèle de raisonnement travaille un problème étape par étape dans une phase de « réflexion », visible ou cachée, avant de donner sa réponse finale.
  • Attention efficace (sparse, linéaire et hybride) Les conceptions d'attention efficace permettent à un modèle de lire des entrées très longues avec bien moins de mémoire et de calcul que l'attention standard, en regardant moins de tokens ou en compressant le passé.

Tous les termes