Fenêtre de contexte

La fenêtre de contexte est la quantité maximale de texte, mesurée en tokens, qu'un modèle peut prendre en compte à la fois, y compris votre prompt et sa propre réponse.

  • Les bases
  • Mis à jour le

Une fenêtre de 128K contient environ 128 000 tokens, soit à peu près un livre de 300 pages, et une fenêtre de 1M représente huit fois cela. Tout ce que vous voulez que le modèle utilise, comme des documents, l'historique de conversation et des instructions, doit tenir dedans, ainsi que la réponse qu'il rédige.

Des fenêtres plus longues aident pour les gros documents et les bases de code, mais elles coûtent de la mémoire. Le cache KV qui stocke la conversation grossit avec le nombre de tokens, donc utiliser un contexte très long sur votre propre machine demande bien plus de mémoire que les seuls poids. La fenêtre annoncée est aussi un maximum : la qualité peut baisser sur des entrées très longues, alors testez avec votre propre matériel.

Termes associés

  • Token (jeton) Un token est un petit morceau de texte, souvent un mot ou une partie d'un mot, qu'un modèle de langage lit et écrit ; les modèles mesurent longueur et vitesse en tokens.
  • Cache KV Le cache KV est la mémoire qu'utilise un modèle pour se souvenir des tokens précédents d'une conversation, et il grandit avec la longueur du contexte.
  • VRAM La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.

Tous les termes