정밀도(BF16, FP8, INT4)

정밀도는 모델의 각 숫자를 저장하는 데 쓰이는 비트 수를 말합니다. 16비트 BF16, 8비트 FP8, 4비트 INT4 등이 예시이며, 비트가 적을수록 모델이 작아지고 빨라집니다.

  • 하드웨어와 메모리
  • 업데이트

모델은 보통 BF16 같은 16비트 형식으로 학습됩니다. 배포 시 더 낮은 정밀도도 제공될 수 있습니다. FP8과 INT8은 가중치 하나에 1바이트, INT4와 FP4는 반 바이트를 사용합니다. 30B 모델은 오버헤드를 제외하면 BF16에서 약 60GB, FP8에서 약 30GB, 4비트에서 약 15GB입니다.

이 사이트의 각 모델 페이지는 제공되는 모든 변형의 정밀도를 나열하고, 메모리 표는 BF16, FP8, 4비트에서의 필요량을 추정합니다.

관련 용어

  • 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.
  • VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.

전체 용어