トークン(Token)
トークンは、言語モデルが読み書きする小さなテキストのかたまり(多くは単語か単語の一部)で、モデルは長さや速度をトークン単位で測ります。
モデルがテキストを読む前に、トークナイザーがテキストをトークンに分割します。英語では1トークンは平均して単語の約4分の3なので、1000トークンはおよそ750語に相当します。実際の分割はトークナイザーに依存し、他の言語やコードでは同じ内容にさらに多くのトークンが必要になることがよくあります。
上限や速度はトークン単位で示されます。コンテキストウィンドウはモデルが一度に扱える最大トークン数で、生成速度は1秒あたりのトークン数で報告されます。
関連用語
- コンテキストウィンドウ(Context window) コンテキストウィンドウとは、モデルが一度に考慮できるテキスト量の上限で、トークン単位で測られます。あなたのプロンプトとモデル自身の回答の両方が含まれます。
- 推論(Inference) 推論とは、学習済みモデルを実行して出力を得ること、たとえばプロンプトに答えさせることで、「モデルを学習させる」ことの対になる概念です。