덴스 모델(Dense model)

덴스 모델은 모든 토큰을 처리할 때 전체 파라미터를 사용합니다. 일부만 활성화하는 혼합 전문가(MoE) 모델과 다릅니다.

  • 모델과 아키텍처
  • 업데이트

덴스 모델은 추산이 쉽습니다. 27B 덴스 모델은 270억 파라미터분의 메모리가 필요하고 모든 토큰에서 270억 파라미터분의 계산을 수행하므로, 속도와 메모리 사용량이 함께 늘어납니다. 덕분에 주어진 머신에 맞춰 크기를 정하기 쉽습니다.

약 20B에서 35B 파라미터의 덴스 모델, 예컨대 Qwen3.8-27B와 Gemma 4의 31B 버전은 4비트 정밀도로 게임용 GPU 한 장이나 사양 좋은 노트북에서 돌리기에 인기가 있습니다.

관련 용어

  • 전문가 혼합 모델(MoE) 전문가 혼합 모델은 수많은 전문 서브네트워크를 담고 있으면서 토큰마다 그중 몇 개만 사용하기 때문에, 아주 크면서도 빠를 수 있습니다.
  • 파라미터 파라미터는 모델 내부에서 학습 중에 조정되는 숫자이며, 그 개수(7B, 70B 등)가 모델 크기의 일반적인 척도입니다.

전체 용어