전문가 혼합 모델(MoE)
전문가 혼합 모델은 수많은 전문 서브네트워크를 담고 있으면서 토큰마다 그중 몇 개만 사용하기 때문에, 아주 크면서도 빠를 수 있습니다.
덴스 모델에서는 모든 파라미터가 모든 토큰에 쓰입니다. MoE 모델은 네트워크의 일부를 '전문가'로 나누고, 작은 라우터가 토큰마다 그중 몇 개를 고릅니다. 예를 들어 DeepSeek V4.1 Flash는 총 약 5520억 개의 파라미터를 갖지만 토큰 하나에는 160억 개만 씁니다.
발목을 잡는 것은 메모리입니다. 일부 전문가만 실행되더라도 모든 전문가를 로드해야 하므로, MoE 모델은 전체 크기만큼의 메모리가 필요한 반면 속도는 훨씬 작은 덴스 모델에 가깝습니다. 그래서 이 사이트는 MoE 모델에 총 파라미터 수와 활성 파라미터 수를 함께 표기합니다.
관련 용어
- 덴스 모델(Dense model) 덴스 모델은 모든 토큰을 처리할 때 전체 파라미터를 사용합니다. 일부만 활성화하는 혼합 전문가(MoE) 모델과 다릅니다.
- 파라미터 파라미터는 모델 내부에서 학습 중에 조정되는 숫자이며, 그 개수(7B, 70B 등)가 모델 크기의 일반적인 척도입니다.
- VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.