稠密模型
稠密模型处理每个 token 时都会用到全部参数,而混合专家模型只激活其中的一部分。
稠密模型更容易估算。一个 27B 的稠密模型需要为 270 亿参数准备内存,并且每个 token 都要完成 270 亿参数的计算量,速度和内存占用成比例增长,所以很容易按机器配置来选型。
大约 20B 到 35B 参数的稠密模型,例如 Qwen3.8-27B 和 Gemma 4 的 31B 版本,在 4 位精度下可以在单张游戏显卡或配置较好的笔记本上运行,因此很受欢迎。
相关术语
- 混合专家模型(MoE) 混合专家模型包含许多专门的子网络,每个 token 只使用其中少数几个,因此可以做得很大,同时依然很快。
- 参数 参数是模型内部在训练中被调整的数字,参数数量(如 7B 或 70B)是衡量模型规模的常用指标。