양자화

양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.

  • 하드웨어와 메모리
  • 업데이트

16비트 가중치는 2바이트, 4비트 가중치는 약 반 바이트를 차지합니다. 따라서 모델을 16비트에서 4비트로 양자화하면 크기가 대략 4분의 1로 줄어드는데, 이것이 흔히 '서버가 필요한가'와 '게이밍 GPU 한 장에 들어가는가'의 차이입니다.

흔한 형식으로는 FP8, INT8, INT4가 있고, MXFP4, NVFP4 같은 더 새로운 4비트 부동소수점 형식도 있습니다. llama.cpp가 사용하는 GGUF 형식은 여러 양자화 수준을 지원합니다. 비트가 적을수록 품질 저하 위험이 커지며, 특히 작은 모델에서 그러므로, 사용하려는 수준에서 시험하세요.

관련 용어

  • 정밀도(BF16, FP8, INT4) 정밀도는 모델의 각 숫자를 저장하는 데 쓰이는 비트 수를 말합니다. 16비트 BF16, 8비트 FP8, 4비트 INT4 등이 예시이며, 비트가 적을수록 모델이 작아지고 빨라집니다.
  • GGUF GGUF는 llama.cpp와 그 위에 만들어진 도구들이 쓰는 단일 파일 모델 형식으로, 양자화된 가중치와 실행에 필요한 정보를 한 파일에 담습니다.
  • VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.

전체 용어