Токен
Токен — это небольшой кусок текста, часто слово или часть слова, который языковая модель читает и пишет; модели измеряют длину и скорость в токенах.
Прежде чем модель прочтёт текст, токенизатор разбивает его на токены. В английском токен в среднем равен примерно трём четвертям слова, поэтому 1 000 токенов — это около 750 слов. Точное разбиение зависит от токенизатора, а другим языкам и коду на тот же контент часто нужно больше токенов.
Лимиты и скорости указывают в токенах. Окно контекста — это максимальное число токенов, которое модель может учесть за раз, а скорость генерации сообщается в токенах в секунду.
Связанные термины
- Контекстное окно Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.
- Инференс Инференс — это запуск обученной модели для получения результата, например ответа на запрос, в противоположность её обучению.