KV 캐시
KV 캐시는 모델이 대화에서 앞선 토큰들을 기억하는 데 쓰는 메모리로, 컨텍스트 길이에 따라 커집니다.
새 토큰을 하나 생성할 때마다 모델은 앞선 모든 토큰을 되돌아봅니다. 매번 다시 계산하는 대신 키(key)와 값(value)이라 불리는 중간 결과를 KV 캐시에 저장해 둡니다. 덕분에 생성은 빨라지지만 메모리를 씁니다.
캐시는 컨텍스트 길이와 동시 접속 사용자 수에 따라 커지므로, 긴 컨텍스트나 많은 사용자는 가중치 자체만큼의 메모리를 잡아먹을 수 있습니다. vLLM 같은 엔진은 PagedAttention 같은 기법으로 캐시를 관리하고, 캐시를 작게 유지하도록 설계된 모델도 있습니다.
관련 용어
- 컨텍스트 윈도우(Context window) 컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 텍스트량으로, 토큰 단위로 측정하며 프롬프트와 모델 자신의 답변을 모두 포함합니다.
- VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.
- 추론(Inference) 추론은 학습된 모델을 실행해 출력을 얻는 행위, 예컨대 프롬프트에 답하게 하는 것으로, 모델을 학습시키는 것과 대비됩니다.