パラメータ
パラメータはモデル内部にあって学習時に調整される数値で、その数(7B や 70B など)がモデル規模の一般的な指標になります。
パラメータとは、学習で得られた 1 つ 1 つの数値で、通常は重みを指します。70 億パラメータ(7B と表記)のモデルは、その数値を 70 億個保持しています。パラメータが多いほどモデルの学習容量は一般に大きくなりますが、その分ダウンロードも大きくなり、実行に必要なメモリも増えます。
混合エキスパート(MoE)モデルでは、この数値が誤解を招くことがあります。MoE モデルは総数と、トークンごとに実際に使われるより小さいアクティブ数を併記します。「総パラメータ 120B、アクティブ 5B」のモデルは総量分のメモリを必要としますが、計算に使うのはアクティブな部分だけです。また、パラメータ数だけでは品質は分かりません。トレーニングデータ、学習手法、アーキテクチャも同じくらい重要です。
関連用語
- 専門家の混合(MoE) 混合専門家モデルは多くの専門特化したサブネットワークを含み、トークンごとにそのうちの少数だけを使うため、非常に大きくても高速に動けます。
- VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。
- 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。