Token
Ein Token ist ein kleines Stück Text, oft ein Wort oder ein Teil eines Wortes, das ein Sprachmodell liest und schreibt; Modelle messen Länge und Geschwindigkeit in Token.
Bevor ein Modell den Text liest, zerlegt ein Tokenizer ihn in Token. Im Englischen ist ein Token im Schnitt etwa drei Viertel eines Wortes, 1.000 Token entsprechen also rund 750 Wörtern. Die genaue Zerlegung hängt vom Tokenizer ab, und andere Sprachen und Code brauchen für denselben Inhalt oft mehr Token.
Limits und Geschwindigkeiten werden in Token angegeben. Das Kontextfenster ist die maximale Anzahl von Token, die ein Modell auf einmal berücksichtigen kann, und die Generierungsgeschwindigkeit wird in Token pro Sekunde angegeben.
Verwandte Begriffe
- Kontextfenster Das Kontextfenster ist die maximale Textmenge, gemessen in Tokens, die ein Modell auf einmal berücksichtigen kann, einschließlich Ihres Prompts und seiner eigenen Antwort.
- Inferenz Inferenz bedeutet, ein trainiertes Modell auszuführen, um eine Ausgabe zu erhalten, etwa einen Prompt zu beantworten, im Gegensatz zum Training des Modells.