삼진 가중치(Ternary weights, 1.58비트)

삼진 가중치는 모델의 모든 가중치를 -1, 0, +1 세 값 중 하나로 제한하여, 16비트 대신 가중치당 2비트 미만이면 됩니다.

  • 하드웨어와 메모리
  • 업데이트

세 값은 log2(3), 즉 약 1.58비트의 정보를 담으므로 삼진 모델은 흔히 1.58비트 모델이라고 불립니다. 실제 파일에는 조금 더 필요한데, 가중치 그룹마다 스케일 팩터도 저장하기 때문입니다. PrismML의 Ternary Bonsai 2는 128개 가중치마다 16비트 스케일 하나를 사용하며, 이는 가중치당 약 1.7비트에 해당하고 모델을 16비트 크기의 약 9분의 1로 줄입니다.

삼진 가중치는 양자화의 극단적인 형태입니다. 품질이 떨어지는데, 작은 모델일수록 더 많이 떨어집니다. 그리고 파일은 보통 전용 런타임이 필요합니다. Ternary Bonsai 2의 가장 압축된 패킹은 PrismML의 llama.cpp 포크에서 실행됩니다. 이 사이트의 VRAM 계산기는 삼진 파일을 파라미터당 0.22바이트로 계산합니다.

관련 용어

  • 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.
  • 정밀도(BF16, FP8, INT4) 정밀도는 모델의 각 숫자를 저장하는 데 쓰이는 비트 수를 말합니다. 16비트 BF16, 8비트 FP8, 4비트 INT4 등이 예시이며, 비트가 적을수록 모델이 작아지고 빨라집니다.
  • GGUF GGUF는 llama.cpp와 그 위에 만들어진 도구들이 쓰는 단일 파일 모델 형식으로, 양자화된 가중치와 실행에 필요한 정보를 한 파일에 담습니다.

전체 용어