Cache KV

Le cache KV est la mémoire qu'utilise un modèle pour se souvenir des tokens précédents d'une conversation, et il grandit avec la longueur du contexte.

  • Matériel et mémoire
  • Mis à jour le

Pour produire chaque nouveau token, le modèle regarde tous les tokens précédents. Plutôt que de les recalculer à chaque fois, il stocke des résultats intermédiaires, appelés clés et valeurs, dans le cache KV. Cela rend la génération rapide, mais cela consomme de la mémoire.

Le cache grandit avec la longueur du contexte et avec le nombre d'utilisateurs simultanés : un contexte long ou beaucoup d'utilisateurs peuvent donc occuper autant de mémoire que les poids eux-mêmes. Des moteurs comme vLLM gèrent le cache avec des techniques comme PagedAttention, et certains modèles sont conçus pour le garder petit.

Termes associés

  • Fenêtre de contexte La fenêtre de contexte est la quantité maximale de texte, mesurée en tokens, qu'un modèle peut prendre en compte à la fois, y compris votre prompt et sa propre réponse.
  • VRAM La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.
  • Inférence L'inférence consiste à exécuter un modèle entraîné pour obtenir une sortie, par exemple répondre à un prompt, par opposition à son entraînement.

Tous les termes