混合专家模型(MoE)
混合专家模型包含许多专门的子网络,每个 token 只使用其中少数几个,因此可以做得很大,同时依然很快。
在稠密模型里,每个 token 都会用到全部参数。MoE 模型把网络的一部分拆成许多“专家”,由一个小型路由器为每个 token 挑选其中几个。例如 DeepSeek V4.1 Flash 总共约有 5520 亿参数,但每个 token 只用 160 亿。
代价是内存。虽然只有一部分专家参与运算,但所有专家都必须加载,所以 MoE 模型需要按总量准备内存,而速度更接近一个小得多的稠密模型。所以本站同时列出 MoE 模型的总参数量和激活参数量。
相关术语
- 稠密模型 稠密模型处理每个 token 时都会用到全部参数,而混合专家模型只激活其中的一部分。
- 参数 参数是模型内部在训练中被调整的数字,参数数量(如 7B 或 70B)是衡量模型规模的常用指标。
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。