Cache KV
O cache KV é a memória que um modelo usa para lembrar os tokens anteriores de uma conversa, e ele cresce com o comprimento do contexto.
Para produzir cada novo token, o modelo olha para todos os tokens anteriores. Em vez de recalculá-los toda vez, ele armazena resultados intermediários, chamados de chaves e valores, no cache KV. Isso torna a geração rápida, mas consome memória.
O cache cresce com o comprimento do contexto e com o número de usuários simultâneos, então um contexto longo ou muitos usuários podem ocupar tanta memória quanto os próprios pesos. Motores como o vLLM gerenciam o cache com técnicas como PagedAttention, e alguns desenhos de modelos são feitos para mantê-lo pequeno.
Termos relacionados
- Janela de contexto A janela de contexto é a quantidade máxima de texto, medida em tokens, que um modelo pode levar em conta de uma vez, incluindo o seu prompt e a resposta dele.
- VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.
- Inferência Inferência é o ato de executar um modelo treinado para obter uma saída, por exemplo responder a um prompt, em oposição a treiná-lo.