Токен

Токен — это небольшой кусок текста, часто слово или часть слова, который языковая модель читает и пишет; модели измеряют длину и скорость в токенах.

  • Основы
  • Обновлено

Прежде чем модель прочтёт текст, токенизатор разбивает его на токены. В английском токен в среднем равен примерно трём четвертям слова, поэтому 1 000 токенов — это около 750 слов. Точное разбиение зависит от токенизатора, а другим языкам и коду на тот же контент часто нужно больше токенов.

Лимиты и скорости указывают в токенах. Окно контекста — это максимальное число токенов, которое модель может учесть за раз, а скорость генерации сообщается в токенах в секунду.

Связанные термины

  • Контекстное окно Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.
  • Инференс Инференс — это запуск обученной модели для получения результата, например ответа на запрос, в противоположность её обучению.

Все термины