KV-кэш

KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.

  • Оборудование и память
  • Обновлено

Чтобы породить каждый новый токен, модель оглядывается на все предыдущие токены. Вместо того чтобы пересчитывать их каждый раз, она хранит промежуточные результаты — так называемые ключи и значения — в KV-кэше. Это ускоряет генерацию, но расходует память.

Кэш растёт с длиной контекста и числом одновременных пользователей, поэтому длинный контекст или много пользователей могут занять столько же памяти, сколько сами веса. Движки вроде vLLM управляют кэшем с помощью таких приёмов, как PagedAttention, а некоторые архитектуры моделей изначально рассчитаны на то, чтобы держать его небольшим.

Связанные термины

  • Контекстное окно Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.
  • VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.
  • Инференс Инференс — это запуск обученной модели для получения результата, например ответа на запрос, в противоположность её обучению.

Все термины