KV-кэш
KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.
Чтобы породить каждый новый токен, модель оглядывается на все предыдущие токены. Вместо того чтобы пересчитывать их каждый раз, она хранит промежуточные результаты — так называемые ключи и значения — в KV-кэше. Это ускоряет генерацию, но расходует память.
Кэш растёт с длиной контекста и числом одновременных пользователей, поэтому длинный контекст или много пользователей могут занять столько же памяти, сколько сами веса. Движки вроде vLLM управляют кэшем с помощью таких приёмов, как PagedAttention, а некоторые архитектуры моделей изначально рассчитаны на то, чтобы держать его небольшим.
Связанные термины
- Контекстное окно Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.
- VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.
- Инференс Инференс — это запуск обученной модели для получения результата, например ответа на запрос, в противоположность её обучению.