정밀도(BF16, FP8, INT4)
정밀도는 모델의 각 숫자를 저장하는 데 쓰이는 비트 수를 말합니다. 16비트 BF16, 8비트 FP8, 4비트 INT4 등이 예시이며, 비트가 적을수록 모델이 작아지고 빨라집니다.
모델은 보통 BF16 같은 16비트 형식으로 학습됩니다. 배포 시 더 낮은 정밀도도 제공될 수 있습니다. FP8과 INT8은 가중치 하나에 1바이트, INT4와 FP4는 반 바이트를 사용합니다. 30B 모델은 오버헤드를 제외하면 BF16에서 약 60GB, FP8에서 약 30GB, 4비트에서 약 15GB입니다.
이 사이트의 각 모델 페이지는 제공되는 모든 변형의 정밀도를 나열하고, 메모리 표는 BF16, FP8, 4비트에서의 필요량을 추정합니다.