Token(词元)
Token(词元)是语言模型读写的最小文本片段,通常是一个词或词的一部分;模型用 token 来衡量长度和速度。
模型读取文本之前,分词器会先把文本切分成 token。对英文来说,一个 token 平均约为四分之三个单词,因此 1000 个 token 大约是 750 个单词。具体的切分方式取决于分词器,其他语言和代码表达同样的内容往往需要更多 token。
各种上限和速度都以 token 计量。上下文窗口是模型一次最多能考虑的 token 数量,生成速度则以每秒多少个 token 来报告。
相关术语
- 上下文窗口 上下文窗口是模型一次最多能考虑的文本量,以 token 计量,其中包括你的提示词和模型自己的回答。
- 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。