Caché KV
La caché KV es la memoria que usa un modelo para recordar los tokens anteriores de una conversación, y crece con la longitud del contexto.
Para producir cada token nuevo, el modelo mira hacia atrás, a todos los tokens anteriores. En vez de recomputarlos cada vez, almacena resultados intermedios, llamados claves y valores, en la caché KV. Eso hace la generación rápida, pero consume memoria.
La caché crece con la longitud del contexto y con el número de usuarios simultáneos, así que un contexto largo o muchos usuarios pueden ocupar tanta memoria como los propios pesos. Motores como vLLM gestionan la caché con técnicas como PagedAttention, y algunos diseños de modelos están pensados para mantenerla pequeña.
Términos relacionados
- Ventana de contexto La ventana de contexto es la cantidad máxima de texto, medida en tokens, que un modelo puede tener en cuenta a la vez, incluidos tu prompt y su propia respuesta.
- VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.
- Inferencia La inferencia es ejecutar un modelo ya entrenado para obtener una salida, por ejemplo responder a un prompt, en contraste con entrenarlo.