稠密模型

稠密模型处理每个 token 时都会用到全部参数,而混合专家模型只激活其中的一部分。

  • 模型与架构
  • 更新于

稠密模型更容易估算。一个 27B 的稠密模型需要为 270 亿参数准备内存,并且每个 token 都要完成 270 亿参数的计算量,速度和内存占用成比例增长,所以很容易按机器配置来选型。

大约 20B 到 35B 参数的稠密模型,例如 Qwen3.8-27B 和 Gemma 4 的 31B 版本,在 4 位精度下可以在单张游戏显卡或配置较好的笔记本上运行,因此很受欢迎。

相关术语

  • 混合专家模型(MoE) 混合专家模型包含许多专门的子网络,每个 token 只使用其中少数几个,因此可以做得很大,同时依然很快。
  • 参数 参数是模型内部在训练中被调整的数字,参数数量(如 7B 或 70B)是衡量模型规模的常用指标。

全部术语