决策模型
决策模型读取一个情境和一组问题,然后给每个允许的答案返回概率,而不是写出文字。
聊天模型生成文字,解析的工作留给你。决策模型则专为智能体必须做选择的那一步而设计:你发送情境和带类型的问题,比如真假判断、从几个团队中选一个、或把严重程度从一到四打分。模型一次推理就给每个允许的选项打分,结果是一组概率,你的代码可以设阈值、据此路由,或者转交给人处理。Cloudflare 基于 Qwen 后训练的 Clef 就是一个开放的例子,它的请求格式与 Typesafe AI 的 Jev 兼容。Liquid AI 的 d1、AutoTrust 的 Decider 模型、Perplexity 的 pplx-decider、建立在 105B 模型之上的 Sarvam Prism、Abacus.AI 同样支持音频的 Smaug-Decisions、Hindsight 的 hs-decide-1-flash,以及直接从语音音频判断轮流说话、打断和语气的 Adventists AI 的 DuplexJev,是另外的例子。
由于不生成文字,这类模型可以又快又稳定,换标签也不用重新训练。它们不能解释自己,也不能执行动作,非常偏重推理的问题可能更适合更大的聊天模型。请把概率当作分数,用你自己标注的样例去测试,因为校准程度各不相同,而厂商的基准表来自厂商自己的测试。
相关术语
- AI 智能体 AI 智能体是指由模型规划并完成多步任务的系统,它通过调用工具来行动,例如运行代码、搜索网页或编辑文件。
- 工具调用(Function calling) 工具调用让模型请求你的程序运行某个函数,例如搜索或计算器,然后在回答中使用函数返回的结果。
- 多模态模型 多模态模型能处理不止一种类型的数据,例如文本、图像、音频或视频,可以作为输入、输出,或两者兼有。
- 微调 微调是在你自己的示例上继续训练一个预训练模型,让它在特定任务、风格或领域里表现得更好。