デンスモデル(Dense model)

デンスモデルはすべてのトークンの処理に全パラメータを使います。一部のパラメータだけを有効化する混合専門家(MoE)モデルとは異なります。

  • モデルとアーキテクチャ
  • 更新日

デンスモデルは見積もりが簡単です。27B のデンスモデルは 270 億パラメータ分のメモリを必要とし、すべてのトークンで 270 億パラメータ分の計算を行うため、速度とメモリ使用量が一緒に伸びます。そのため、特定のマシンに合わせたサイズ選びがしやすくなります。

約 20B〜35B パラメータのデンスモデル、たとえば Qwen3.8-27B や Gemma 4 の 31B 版は、4 ビット精度ならゲーム用 GPU 1 枚や、あるいはスペックの良いノートパソコンで動かせるとして人気があります。

関連用語

  • 専門家の混合(MoE) 混合専門家モデルは多くの専門特化したサブネットワークを含み、トークンごとにそのうちの少数だけを使うため、非常に大きくても高速に動けます。
  • パラメータ パラメータはモデル内部にあって学習時に調整される数値で、その数(7B や 70B など)がモデル規模の一般的な指標になります。

すべての用語