Token (jeton)
Un token est un petit morceau de texte, souvent un mot ou une partie d'un mot, qu'un modèle de langage lit et écrit ; les modèles mesurent longueur et vitesse en tokens.
Avant qu'un modèle ne lise le texte, un tokenizer le découpe en tokens. En anglais, un token représente en moyenne environ trois quarts d'un mot, donc 1 000 tokens équivalent à environ 750 mots. Le découpage exact dépend du tokenizer, et les autres langues ainsi que le code demandent souvent plus de tokens pour le même contenu.
Limites et vitesses sont exprimées en tokens. La fenêtre de contexte est le nombre maximum de tokens qu'un modèle peut considérer à la fois, et la vitesse de génération est indiquée en tokens par seconde.
Termes associés
- Fenêtre de contexte La fenêtre de contexte est la quantité maximale de texte, mesurée en tokens, qu'un modèle peut prendre en compte à la fois, y compris votre prompt et sa propre réponse.
- Inférence L'inférence consiste à exécuter un modèle entraîné pour obtenir une sortie, par exemple répondre à un prompt, par opposition à son entraînement.