推理模型(Reasoning Model)

推理模型在给出最终答案之前,会先经过一个可见或不可见的“思考”阶段,一步一步地解决问题。

  • 模型与架构
  • 更新于

推理模型会把额外的 token 花在中间步骤上,这往往能提升数学、编程等多步问题的结果。一些开放模型带有开关,可以开启或关闭思考,在准确率与速度、成本之间做取舍。

额外的思考会占用上下文并消耗时间,所以对于简单的聊天或简短回答,推理模型并不总是最佳选择。比较模型时,请留意基准分数是否是在开启思考的情况下测得的。

相关术语

  • Token(词元) Token(词元)是语言模型读写的最小文本片段,通常是一个词或词的一部分;模型用 token 来衡量长度和速度。
  • 上下文窗口 上下文窗口是模型一次最多能考虑的文本量,以 token 计量,其中包括你的提示词和模型自己的回答。
  • AI 智能体 AI 智能体是指由模型规划并完成多步任务的系统,它通过调用工具来行动,例如运行代码、搜索网页或编辑文件。

全部术语