Cache KV

O cache KV é a memória que um modelo usa para lembrar os tokens anteriores de uma conversa, e ele cresce com o comprimento do contexto.

  • Hardware e memória
  • Atualizado

Para produzir cada novo token, o modelo olha para todos os tokens anteriores. Em vez de recalculá-los toda vez, ele armazena resultados intermediários, chamados de chaves e valores, no cache KV. Isso torna a geração rápida, mas consome memória.

O cache cresce com o comprimento do contexto e com o número de usuários simultâneos, então um contexto longo ou muitos usuários podem ocupar tanta memória quanto os próprios pesos. Motores como o vLLM gerenciam o cache com técnicas como PagedAttention, e alguns desenhos de modelos são feitos para mantê-lo pequeno.

Termos relacionados

  • Janela de contexto A janela de contexto é a quantidade máxima de texto, medida em tokens, que um modelo pode levar em conta de uma vez, incluindo o seu prompt e a resposta dele.
  • VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.
  • Inferência Inferência é o ato de executar um modelo treinado para obter uma saída, por exemplo responder a um prompt, em oposição a treiná-lo.

Todos os termos