Контекстное окно

Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.

  • Основы
  • Обновлено

Окно 128K вмещает около 128 000 токенов — примерно книгу в 300 страниц, а окно 1M — в восемь раз больше. Всё, что вы хотите, чтобы модель использовала, — документы, историю чата, инструкции — должно поместиться внутрь, вместе с ответом, который она пишет.

Более длинные окна помогают работать с большими документами и кодовыми базами, но стоят памяти. KV-кэш, хранящий разговор, растёт с числом токенов, поэтому очень длинный контекст на собственной машине требует гораздо больше памяти, чем одни лишь веса. Заявленное окно — это ещё и максимум: на очень длинных входах качество может падать, так что тестируйте на своём материале.

Связанные термины

  • Токен Токен — это небольшой кусок текста, часто слово или часть слова, который языковая модель читает и пишет; модели измеряют длину и скорость в токенах.
  • KV-кэш KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.
  • VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.

Все термины