强化学习(RL)

强化学习通过奖励好的结果来训练模型,例如答对问题或通过测试,而不是让模型去模仿示例文本。

  • 基础概念
  • 更新于

普通训练是让模型模仿文本。强化学习则是让模型先去尝试,再由一个分数说明结果好坏,模型会朝得分更高的尝试调整。分数可以来自检查器,例如代码是否通过测试、数学答案是否正确,也可以来自一个替代人类偏好的模型。

许多近期的推理模型和编程智能体都是这样做后训练的;小米的 MiMo V2.6 和 DeepReinforce 的 Ornith 都介绍过强化学习训练。奖励只能和检查器一样好,所以强化学习往往提升的是模型在被奖励的那类任务上的表现。结果通常是开发者自己公布的。

相关术语

  • 推理模型(Reasoning Model) 推理模型在给出最终答案之前,会先经过一个可见或不可见的“思考”阶段,一步一步地解决问题。
  • 微调 微调是在你自己的示例上继续训练一个预训练模型,让它在特定任务、风格或领域里表现得更好。
  • AI 智能体 AI 智能体是指由模型规划并完成多步任务的系统,它通过调用工具来行动,例如运行代码、搜索网页或编辑文件。

全部术语