Décodage spéculatif et prédiction multi-jetons

Le décodage spéculatif accélère la génération de texte en laissant un brouillon peu coûteux deviner plusieurs jetons d'avance et en faisant vérifier le tout d'un coup par le modèle complet.

  • Matériel et mémoire
  • Mis à jour le

Un modèle de langage écrit normalement un jeton à la fois, et chaque jeton nécessite une passe complète dans le modèle. Dans le décodage spéculatif, un petit modèle brouillon, ou une couche de prédiction supplémentaire à l'intérieur du modèle, propose plusieurs jetons suivants. Le modèle principal les vérifie en une seule passe et garde ceux avec lesquels il est d'accord ; dans les implémentations standard, la sortie est donc celle qu'il aurait écrite seul, simplement plus vite.

De nombreux modèles récents embarquent pour cela une couche de prédiction multi-jetons (MTP), par exemple Hy3 et les familles DeepSeek V4 et GLM-5, et des serveurs d'inférence comme vLLM et SGLang savent l'utiliser. Cela aide surtout sur du texte prévisible comme le code et coûte un peu de mémoire supplémentaire. Vérifiez que votre serveur prend en charge la couche MTP d'un modèle, car le support et les réglages diffèrent selon les outils.

Termes associés

  • Inférence L'inférence consiste à exécuter un modèle entraîné pour obtenir une sortie, par exemple répondre à un prompt, par opposition à son entraînement.
  • Cache KV Le cache KV est la mémoire qu'utilise un modèle pour se souvenir des tokens précédents d'une conversation, et il grandit avec la longueur du contexte.
  • Token (jeton) Un token est un petit morceau de texte, souvent un mot ou une partie d'un mot, qu'un modèle de langage lit et écrit ; les modèles mesurent longueur et vitesse en tokens.

Tous les termes