양자화 인식 훈련(QAT)
양자화 인식 훈련은 모델이 학습되는 동안 저정밀 가중치에 익숙해지도록 가르쳐, 4비트에서 나중에 압축한 모델보다 품질 손실이 적게 만듭니다.
일반적인 양자화는 완성된 16비트 모델을 더 적은 비트로 변환하며, 비트가 줄어들수록 품질 손실이 커집니다. QAT에서는 저정밀도가 학습의 일부이므로 가중치가 그에 적응합니다. Nanbeige4.3-33B-INT4는 이 방식으로 만들어졌는데, BF16 모델에서의 증류와 INT4 모델 자체에 대한 강화 학습을 거쳤고, 결과는 약 23GB입니다. 다만 모델 카드에는 점수가 제시되어 있지 않습니다.
이제 일부 개발자는 저정밀 가중치를 주요 릴리스로 공개합니다. Moonshot은 Kimi K2.7 Code를 네이티브 INT4(약 595GB)로 제공하고, MiniMax M3.1 Flash는 출시 시점에 이미 약 4비트로 압축되어 있습니다. 서드파티 변환을 신뢰하기 전에, 개발자 자신의 저정밀 파일로 시작해 자신의 작업에서 시험해 보는 것이 대개 가장 안전합니다.
관련 용어
- 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.
- 정밀도(BF16, FP8, INT4) 정밀도는 모델의 각 숫자를 저장하는 데 쓰이는 비트 수를 말합니다. 16비트 BF16, 8비트 FP8, 4비트 INT4 등이 예시이며, 비트가 적을수록 모델이 작아지고 빨라집니다.
- 증류(Distillation) 증류는 더 작은 '학생' 모델이 더 큰 '교사' 모델을 모방하도록 학습시키는 방법으로, 크기는 훨씬 작으면서도 교사 모델의 능력 대부분을 유지합니다.
- 강화 학습(RL) 강화 학습은 정답이나 테스트 통과 같은 좋은 결과에 보상을 주는 방식으로 모델을 훈련합니다. 예시 텍스트를 따라 하는 대신 말입니다.