Контекстное окно
Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.
Окно 128K вмещает около 128 000 токенов — примерно книгу в 300 страниц, а окно 1M — в восемь раз больше. Всё, что вы хотите, чтобы модель использовала, — документы, историю чата, инструкции — должно поместиться внутрь, вместе с ответом, который она пишет.
Более длинные окна помогают работать с большими документами и кодовыми базами, но стоят памяти. KV-кэш, хранящий разговор, растёт с числом токенов, поэтому очень длинный контекст на собственной машине требует гораздо больше памяти, чем одни лишь веса. Заявленное окно — это ещё и максимум: на очень длинных входах качество может падать, так что тестируйте на своём материале.
Связанные термины
- Токен Токен — это небольшой кусок текста, часто слово или часть слова, который языковая модель читает и пишет; модели измеряют длину и скорость в токенах.
- KV-кэш KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.
- VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.