VRAM
VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.
모델이 답변하려면 가중치를 먼저 메모리에 올려야 합니다. GPU에서 그 메모리가 바로 VRAM입니다. 모델이 들어가지 않으면 소프트웨어는 로드를 거부하거나 더 느린 시스템 메모리로 넘치게 되고, 생성 속도는 크게 느려집니다.
경험 법칙으로, 필요한 메모리(기가바이트)는 대략 십억 단위 파라미터 수에 파라미터당 바이트 수를 곱하고 오버헤드로 약 15%를 더한 값이며, 긴 컨텍스트에서는 더 필요합니다. 4비트 정밀도에서 30B 모델은 약 20 GB가 필요합니다. 이 사이트의 VRAM 계산기는 특정 모델에 대해 여러 정밀도로 이를 추정해 줍니다.
관련 용어
- 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.
- 유니파이드 메모리(Unified memory) 유니파이드 메모리는 Apple 실리콘 등 일부 칩이 채택한 설계로, CPU와 GPU가 하나의 메모리 풀을 공유하므로 큰 모델도 그 대부분을 사용할 수 있습니다.
- KV 캐시 KV 캐시는 모델이 대화에서 앞선 토큰들을 기억하는 데 쓰는 메모리로, 컨텍스트 길이에 따라 커집니다.