蒸馏

蒸馏是训练一个较小的“学生”模型去模仿较大的“教师”模型,用很小的体积保留教师的大部分能力。

  • 模型与架构
  • 更新于

学生模型学习的是教师模型的输出,而不仅是原始数据。许多小巧的模型就是这样取得出色表现的,它也被用来加快图像模型:蒸馏版 FLUX Klein 所需的采样步数远少于未蒸馏的 Base 版本。

有些许可证限制用模型的输出去训练另一个模型,所以从开放模型蒸馏到你自己的模型之前,请先查看条款。

相关术语

  • 微调 微调是在你自己的示例上继续训练一个预训练模型,让它在特定任务、风格或领域里表现得更好。
  • 参数 参数是模型内部在训练中被调整的数字,参数数量(如 7B 或 70B)是衡量模型规模的常用指标。

全部术语