파라미터
파라미터는 모델 내부에서 학습 중에 조정되는 숫자이며, 그 개수(7B, 70B 등)가 모델 크기의 일반적인 척도입니다.
파라미터는 학습된 숫자 하나하나로, 보통 가중치입니다. 70억 개 파라미터(7B로 표기)를 가진 모델은 그 숫자를 70억 개 저장합니다. 파라미터가 많을수록 모델이 배울 수 있는 용량은 커지는 경향이 있지만, 동시에 다운로드도 커지고 실행에 필요한 메모리도 늘어납니다.
이 개수는 MoE(혼합 전문가) 모델에서는 오해를 부를 수 있습니다. MoE 모델은 전체 개수와, 토큰마다 실제로 쓰이는 더 작은 활성 개수를 함께 표기합니다. '총 120B, 활성 5B' 모델은 전체만큼의 메모리가 필요하지만 계산은 활성 부분만으로 합니다. 파라미터 수만으로 품질도 알 수 없습니다. 학습 데이터, 학습 방법, 아키텍처가 그만큼 중요합니다.
관련 용어
- 전문가 혼합 모델(MoE) 전문가 혼합 모델은 수많은 전문 서브네트워크를 담고 있으면서 토큰마다 그중 몇 개만 사용하기 때문에, 아주 크면서도 빠를 수 있습니다.
- VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.
- 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.