参数

参数是模型内部在训练中被调整的数字,参数数量(如 7B 或 70B)是衡量模型规模的常用指标。

  • 基础概念
  • 更新于

一个参数就是一个学到的数字,通常是权重。有 70 亿参数(写作 7B)的模型就存储了 70 亿个这样的数字。参数越多,模型通常有越大的学习容量,但下载体积也越大,运行时需要的内存也越多。

对混合专家模型来说,这个数字可能产生误导:它们会同时列出总参数量和每个 token 实际使用的较小的激活参数量。“总参数 120B、激活参数 5B”的模型需要按总量准备内存,但计算时只用激活的那一部分。仅凭参数数量也无法判断质量,训练数据、训练方法和架构同样重要。

相关术语

  • 混合专家模型(MoE) 混合专家模型包含许多专门的子网络,每个 token 只使用其中少数几个,因此可以做得很大,同时依然很快。
  • 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。
  • 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。

继续阅读

全部术语