デンスモデル(Dense model)
デンスモデルはすべてのトークンの処理に全パラメータを使います。一部のパラメータだけを有効化する混合専門家(MoE)モデルとは異なります。
デンスモデルは見積もりが簡単です。27B のデンスモデルは 270 億パラメータ分のメモリを必要とし、すべてのトークンで 270 億パラメータ分の計算を行うため、速度とメモリ使用量が一緒に伸びます。そのため、特定のマシンに合わせたサイズ選びがしやすくなります。
約 20B〜35B パラメータのデンスモデル、たとえば Qwen3.8-27B や Gemma 4 の 31B 版は、4 ビット精度ならゲーム用 GPU 1 枚や、あるいはスペックの良いノートパソコンで動かせるとして人気があります。
関連用語
- 専門家の混合(MoE) 混合専門家モデルは多くの専門特化したサブネットワークを含み、トークンごとにそのうちの少数だけを使うため、非常に大きくても高速に動けます。
- パラメータ パラメータはモデル内部にあって学習時に調整される数値で、その数(7B や 70B など)がモデル規模の一般的な指標になります。