pplx-decider
Perplexity 基于 Qwen3.8-27B 和 4B Flash 的开放决策模型:对某个状态提带类型的问题,给每个选项返回概率。Apache 2.0。
一句话概括. pplx-decider 是 Perplexity 的一个模型家族,针对一条消息、一份文档或一张图像的问题,给每个可能的答案返回概率,而不是写出文字。你可以对同一张客服工单一次问好几个问题,比如该由哪个团队处理、是否紧急,一次推理就能拿到每个选项的数字。
概述
Perplexity 在 2026 年 10 月以 Apache 2.0 许可证在 Hugging Face 上发布了 pplx-decider 决策模型:10 月 1 日是 27B 版本,10 月 5 日是 v1.1,10 月 15 日发布了 v1.2 和 4B 的 Flash 版本。它们基于 Qwen3.8-27B 和 Qwen3.5-4B 构建。一个请求包含一个状态,即文本和可选的最高 160 万像素图像,再加上任意数量的带类型问题。问题可以是在 1 到 255 个选项中选择、是非判断或打分,模型给每个选项返回概率,不生成文字。v1.2 把状态和所有问题放在同一个序列里,在每个问题的选项之后设一个标记位读出结果,所以对同一个状态多问几个问题的成本很低,问题之间还可以互相参考,而 v1.1 每次前向推理只回答一个问题。Flash 是在 27B 模型的训练请求上蒸馏出来的。
这些数字都来自 Perplexity 自己,使用的是 Decision Index 0.3 的公开部分。v1.2 在联合请求下得 68.09,每个请求一个问题时得 67.75,v1.1 是 62.30,视觉榜单上是 77.43,v1.1 是 73.22。Flash 得 58.88,每个请求一个问题时是 60.05,视觉榜单 72.53。模型卡称,部分提升来自对多个基准自带官方训练集的训练(已针对测试集去污染),而且两个 v1.2 检查点都平均了多次训练运行的权重。在训练之外保留的决策数据上,概率仍然略偏自信,期望校准误差约为 0.05,而它的开发集上是 0.014。当问题是同一个决策的不同侧面时,分组会有帮助,当问题是互相竞争的候选项时则有害,所以模型卡建议拿不准时每个请求只放一个候选项。
27B 检查点以 bf16 计是 52.2 GB,Flash 是 9.1 GB。Flash 还有 5.16 GB 的 Q8_0 GGUF 和 0.67 GB 的视觉投影文件,不过标准的 llama.cpp 服务器没有实现该检查点的协议,需要兼容的运行时。Python 包面向 CUDA GPU,带有 torch.compile 和 CUDA graphs 的快速路径,模型卡测得在其上处理一个 Decision Index 请求的中位耗时为 96 毫秒,参考路径是 131 毫秒。位置上限是 262,144 个 token,但训练只用了最长约 32K token 的序列,单一事实检索测试在约 243K token 时仍然成立,占用约 95 GiB 的 GPU 内存。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计 v1.2 约有 5,550 次下载,Flash 约 6,800 次,Flash GGUF 约 10,700 次。
适合做什么
- 需要一次推理就对同一条消息给出多个带类型答案的路由、分诊和审核环节
- 用是非问题做相关性打分和重排序,包括最高 160 万像素的图像
- 用 4B 的 Flash 做对延迟敏感的决策,它还提供 GGUF
- 来自知名实验室的 Apache 2.0 权重,附有文档齐全的 Python 包和请求格式
需要注意
- 分数来自 Perplexity 自己,v1.2 训练时用了若干基准自带的官方训练集,所以在这些基准上的提升有一部分来自领域内训练
- 检查点需要非因果注意力和逐个问题的读出,普通推理服务器无法运行,v1.1 风格的提示词对它也不适用
- 训练使用的序列最长约 32K token,更长的输入只做了抽查
- 在保留任务上概率略偏自信,请用你自己标注的样例去测试
- 仅 27B 的权重就需要约 52 GiB 的 GPU 内存,且该包面向 CUDA GPU
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 pplx-decider flash v1.2 (4B) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| pplx-decider flash v1.2 (4B) BF16 | 4.54B | 10 GB | 5.22 GB | 3.13 GB | 笔记本或手机 |
| pplx-decider flash v1.2 GGUF (Q8_0) INT8 | 4.54B | 10 GB | 5.22 GB | 3.13 GB | 笔记本或手机 |
| pplx-decider v1.2 (27B) BF16 | 26.1B | 60 GB | 30 GB | 18 GB | 游戏显卡 |
| pplx-decider v1.1 (27B, one question per pass) BF16 | 26.1B | 60 GB | 30 GB | 18 GB | 游戏显卡 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- pplx-decider 是什么?
- pplx-decider 是 Perplexity 的一个模型家族,针对一条消息、一份文档或一张图像的问题,给每个可能的答案返回概率,而不是写出文字。你可以对同一张客服工单一次问好几个问题,比如该由哪个团队处理、是否紧急,一次推理就能拿到每个选项的数字。
- pplx-decider 可以商用吗?
- 可以。pplx-decider 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- pplx-decider 是开源的吗?
- pplx-decider 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 pplx-decider 吗?
- 可以。最小版本 pplx-decider flash v1.2 (4B) 在 4 位精度下约需 3.13 GB 内存,现代笔记本或中端显卡即可胜任。
- pplx-decider 是什么时候发布的?
- pplx-decider 由 Perplexity 于 2026年10月1日 发布。
- pplx-decider 的上下文窗口有多长?
- pplx-decider 支持最长 256K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- pplx-decider-v1.2 model card (Hugging Face) huggingface.co
- pplx-decider-flash-v1.2 model card (Hugging Face) huggingface.co
- pplx-decider-flash-gguf-v1.2 model card (Hugging Face) huggingface.co
- pplx-decider-v1.1-27b model card (Hugging Face) huggingface.co
- Jev Decision Index (Hugging Face Space) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| AutoTrust Decider AutoTrust AI Lab | 8.95B – 36B 激活 3B | 256K | Apache 2.0 (宽松) | 6.18 GB 笔记本或手机 | |
| Clef Cloudflare | 9.41B – 27.4B | 64K | Apache 2.0 (宽松) | 6.49 GB 笔记本或手机 | |
| Liquid d1 Liquid AI | 587M – 3.12B | 128K | LFM Open 1.0 (附条件) | 0.405 GB 笔记本或手机 | |
| Qwen3.8-27B Alibaba Qwen | 27.8B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 |