덴스 모델(Dense model)
덴스 모델은 모든 토큰을 처리할 때 전체 파라미터를 사용합니다. 일부만 활성화하는 혼합 전문가(MoE) 모델과 다릅니다.
덴스 모델은 추산이 쉽습니다. 27B 덴스 모델은 270억 파라미터분의 메모리가 필요하고 모든 토큰에서 270억 파라미터분의 계산을 수행하므로, 속도와 메모리 사용량이 함께 늘어납니다. 덕분에 주어진 머신에 맞춰 크기를 정하기 쉽습니다.
약 20B에서 35B 파라미터의 덴스 모델, 예컨대 Qwen3.8-27B와 Gemma 4의 31B 버전은 4비트 정밀도로 게임용 GPU 한 장이나 사양 좋은 노트북에서 돌리기에 인기가 있습니다.
관련 용어
- 전문가 혼합 모델(MoE) 전문가 혼합 모델은 수많은 전문 서브네트워크를 담고 있으면서 토큰마다 그중 몇 개만 사용하기 때문에, 아주 크면서도 빠를 수 있습니다.
- 파라미터 파라미터는 모델 내부에서 학습 중에 조정되는 숫자이며, 그 개수(7B, 70B 등)가 모델 크기의 일반적인 척도입니다.