専門家の混合(MoE)

混合専門家モデルは多くの専門特化したサブネットワークを含み、トークンごとにそのうちの少数だけを使うため、非常に大きくても高速に動けます。

  • モデルとアーキテクチャ
  • 更新日

密な(デンス)モデルでは、すべてのパラメータがすべてのトークンに使われます。MoE モデルはネットワークの一部を「エキスパート」に分割し、小さなルーターがトークンごとにそのうちのいくつかを選びます。たとえば DeepSeek V4.1 Flash は合計約 5520 億パラメータを持ちながら、トークンごとには 160 億しか使いません。

難点はメモリです。一部のエキスパートしか実行されなくても、すべてのエキスパートをロードしておく必要があるため、MoE モデルは総サイズ分のメモリを要する一方、速度はずっと小さなデンスモデルに近くなります。だからこそ本サイトでは、MoE モデルに総パラメータ数とアクティブパラメータ数の両方を載せています。

関連用語

  • デンスモデル(Dense model) デンスモデルはすべてのトークンの処理に全パラメータを使います。一部のパラメータだけを有効化する混合専門家(MoE)モデルとは異なります。
  • パラメータ パラメータはモデル内部にあって学習時に調整される数値で、その数(7B や 70B など)がモデル規模の一般的な指標になります。
  • VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。

すべての用語