AutoTrust Decider
AutoTrust 基于 Qwen 和 Gemma 的开放决策模型,9B 到 35B:给出情境和带类型的问题,返回每个选项的概率。Apache 2.0。
一句话概括. AutoTrust Decider 是一个模型家族,针对某个情境的问题,返回每个可能答案的概率,而不是写出文字。比如你发来一张客服工单,问该由哪个团队处理,它会给每个团队返回一个数字。里面保留着原封不动的 Qwen 或 Gemma 模型,所以同一台服务器也能写普通文字。
概述
AutoTrust AI Lab 在 Hugging Face 上的第一个决策模型 Decider Mini 9B 可以追溯到 2026 年 9 月 23 日,即其仓库创建的日期。此后该实验室又加入了 Decider Pro 27B、它的视觉版本、Decider Pro 35B 和 GEV-26B-Decide,全部采用 Apache 2.0,模型卡仍然使用旧名称 JEV 和 GEV。它们回答关于某个状态的带类型问题,状态可以是文本、JSON,视觉版本还可以是图像。问题可以是是非题、从 2 到 256 个选项里选、或 0 到 5 的评分,每个答案都是一次前向推理给出的、每个选项的校准概率,不生成文字。底座分别是 Qwen3.5-9B、Qwen3.8-27B、Qwen3.5-35B-A3B 和 Gemma 4 26B-A4B。AutoTrust 把原模型原封不动地保留为它所说的 System 2,用于普通文本生成和推理,再加上一个小的 System 1 适配器和决策头,27B 版本的训练参数为 1.089 亿,这样同一个 vLLM 服务器就能同时做两件事。它称 27B 的 HumanEval 保持在 78.0%,与 Qwen3.8-27B 完全一致。
这些数字都来自 AutoTrust 自己。模型卡给出 27B 在六个公开决策基准上的平均成绩是 84.07%,Typesafe 托管的 Jev 1.13 在它自己的测试中是 83.85%,并称视觉版本在社区的 Jev Decision Index 视觉榜单 20 个模型中排名第一,2026 年 10 月 7 日的快照里完整得分为 69.82。纯文本的 v1.1 在 Decision Index 0.3 上报告的公开指数是 67.31,由自己报告,尚待指数维护者验证,而且各模型卡用的指数版本和设置不同,所以只应在同一张卡片内比较分数。来源也很重要。System 1 的标签来自 SargeDev/jev-distill-corpus-v3,该数据集的说明称其中约 49.8 万行是通过 OpenRouter 从 Typesafe 闭源的 Jev 1.13 输出分布蒸馏而来。AutoTrust 报告 27B 与这位教师模型的平均 KL 散度约为 0.017,并声明与 Typesafe AI 没有关联,所以请确认适用于你的使用条款。
检查点都是 bf16 仓库:9B 为 17.9 GB,27B 为 53.8 GB,视觉版 27B 为 55.6 GB,35B 为 71.9 GB,35B 和 GEV-26B-Decide 另有 25.6 GB 和 18.8 GB 的 NVFP4 版本。服务脚本使用 vLLM 并增加了 POST /v1/decide 路由,视觉版 27B 的脚本需要 vLLM 开发版,视觉版 27B、35B 和 GEV 的脚本要求 80 GB 以上的 GPU,35B 的 NVFP4 版要求 32 GB 以上。视觉版 27B 和 GEV 的提示词可以达到 256K token,模型卡的单一事实测试在每个长度上都是 20 次全对。AutoTrust 在一块 B200 上测得 9B 每次决策的中位耗时约 90 毫秒,27B 为 137 毫秒,而托管的 Jev API 经独立测量是 238 到 301 毫秒。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计 Decider Pro 35B 约有 165 万次下载,视觉版 27B 约有 155 万次,9B 约有 67.5 万次。
适合做什么
- 智能体里需要对每个允许的选项快速给出校准概率的路由和分诊环节
- 意图分类、内容审核和相关性排序,每个问题最多 256 个选项
- 把一个回答、一个智能体步骤或一张图像判断为校准过的是或否
- 想在一台 vLLM 服务器上同时使用带类型的是非、选择、0 到 5 评分问题和普通文本生成的团队
需要注意
- System 1 的标签是通过 OpenRouter 从 Typesafe 闭源托管的 Jev 1.13 蒸馏而来,虽然权重是 Apache 2.0,也请确认适用于你的条款
- 分数来自 AutoTrust 自己的测试,或是在社区指数上自己报告的结果,榜单及其版本会随时间变化
- 9B 和 27B 只发布了 bf16 权重,所以我们按 4 位精度估算的内存对它们偏乐观,更大的模型除非使用 NVFP4,否则需要 80 GB 的 GPU
- 需要仓库自带的服务脚本,视觉版 27B 还需要 vLLM 开发版,并把并发序列限制在 8 个
- 决策头只用文本训练,所以图像上的决策是零样本,校准程度没有系统测量过
- 该机构的公开信息很少,而且 Hugging Face 仓库和模型卡使用的名称不一致
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Decider Mini 9B (JEV-9B) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Decider Mini 9B (JEV-9B) BF16 | 8.95B | 21 GB | 10 GB | 6.18 GB | 笔记本或手机 |
| GEV-26B-Decide (Gemma 4) BF16 | 25.8B 激活 4B | 59 GB | 30 GB | 80 GB | 工作站 |
| GEV-26B-Decide NVFP4 NVFP4 | 25.8B 激活 4B | 59 GB | 30 GB | 21 GB | 游戏显卡 |
| Decider Pro 27B (JEV-27B) BF16 | 26.9B | 62 GB | 31 GB | 19 GB | 游戏显卡 |
| Decider Pro Vision 27B v1.1 (text decisions) BF16 | 27.4B | 63 GB | 31 GB | 19 GB | 游戏显卡 |
| Decider Pro Vision 27B (JEV-27B-VL) BF16 | 27.8B | 64 GB | 32 GB | 80 GB | 工作站 |
| Decider Pro 35B (JEV-35B) BF16 | 36B 激活 3B | 83 GB | 41 GB | 80 GB | 工作站 |
| Decider Pro 35B NVFP4 NVFP4 | 36B 激活 3B | 83 GB | 41 GB | 32 GB | 游戏显卡 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 32 GB。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- AutoTrust Decider 是什么?
- AutoTrust Decider 是一个模型家族,针对某个情境的问题,返回每个可能答案的概率,而不是写出文字。比如你发来一张客服工单,问该由哪个团队处理,它会给每个团队返回一个数字。里面保留着原封不动的 Qwen 或 Gemma 模型,所以同一台服务器也能写普通文字。
- AutoTrust Decider 可以商用吗?
- 可以。AutoTrust Decider 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- AutoTrust Decider 是开源的吗?
- AutoTrust Decider 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 AutoTrust Decider 吗?
- 可以。最小版本 Decider Mini 9B (JEV-9B) 在 4 位精度下约需 6.18 GB 内存,现代笔记本或中端显卡即可胜任。
- AutoTrust Decider 是什么时候发布的?
- AutoTrust Decider 由 AutoTrust AI Lab 于 2026年9月23日 发布。
- AutoTrust Decider 的上下文窗口有多长?
- AutoTrust Decider 支持最长 256K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- AutoTrust Decider Pro Vision 27B model card (Hugging Face) huggingface.co
- AutoTrust Decider Pro 35B model card (Hugging Face) huggingface.co
- AutoTrust Decider Pro 27B model card (Hugging Face) huggingface.co
- AutoTrust Decider Mini 9B model card (Hugging Face) huggingface.co
- GEV-26B-Decide model card (Hugging Face) huggingface.co
- AutoTrust Decider Pro Vision 27B v1.1 model card (Hugging Face) huggingface.co
- Jev distill corpus v3 dataset card (Hugging Face) huggingface.co
- Jev Decision Index (Hugging Face Space) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Clef Cloudflare | 9.41B – 27.4B | 64K | Apache 2.0 (宽松) | 6.49 GB 笔记本或手机 | |
| pplx-decider Perplexity | 4.54B – 26.1B | 256K | Apache 2.0 (宽松) | 3.13 GB 笔记本或手机 | |
| Liquid d1 Liquid AI | 587M – 3.12B | 128K | LFM Open 1.0 (附条件) | 0.405 GB 笔记本或手机 | |
| Qwen3.8-27B Alibaba Qwen | 27.8B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 |