Sarvam Prism
Sarvam 的 105B 决策模型:针对一个情境的带类型问题,一次推理给出每个选项的概率,在 B200 上中位耗时 44 毫秒。
一句话概括. Sarvam Prism 是建立在 Sarvam 的 105B 语言模型之上的决策模型。它不写文字,而是接收一个情境和带固定答案选项的问题,并给每个选项返回一个概率。它用于自动化日常决策,在印度语言上表现很强,但需要非常大的 GPU。
概述
Sarvam Prism 是 Sarvam AI 在 2026 年 11 月 3 日发布的决策模型,建立在它的 105B 混合专家语言模型之上,约有 103 亿激活参数。一次请求给出一个状态,可以是任意文本或 JSON,再加上一个或多个带类型的问题:选择、是否、或按有序等级打分。模型一次前向推理就给每个选项返回概率,不生成文字,所以答案一定是你给出的选项之一。一个小型决策头读取模型的隐藏状态,每个选项在编码时看不到其他选项,选择题的选项按固定顺序打分,所以答案不取决于你发送选项的顺序。每个问题的上下文上限是 131072 个 token。
Sarvam 把它与另外 24 个决策模型在它自己运行的三项指数上做了对比:Jev Decision Index 的 37 个公开基准、它自己重新实现的 Artificial Analysis Decision Index,以及一个内部的印度语言基准。Prism 平均 71.8 分,在一块 B200 GPU 上的中位响应时间是 44 毫秒,Sarvam 称这是所有响应时间在 100 毫秒以内的模型中得分最高的。在它文章里的表格上,mammoth-1 平均 75.2,GLiDE 1.2 平均 73.2,但分别需要 284 毫秒和 116 毫秒,Perplexity Decider v1.2 平均 68.0,耗时 117 毫秒。Prism 在印度语言指数上得 82.5,Perplexity Decider v1.2 是 75.0。Sarvam 还称它的置信度经过校准,即在 90% 以上置信度时,它的错误不超过它预期的错误。这些是 Sarvam 自己的结果,使用的是它自己选择的基准组合,我们没有复现。
权重采用 Apache 2.0,Sarvam 也提供托管 API。权重以自定义 FP8 格式存放,共 106 GB,所以不能用 AutoModelForCausalLM 加载,也不能用通用推理服务器来提供服务:你要在一块支持 FP8、约有 120 GB 可用显存的 NVIDIA GPU(比如 B200 或 H200)上使用 Sarvam 的 prism.py 推理代码。Sarvam 称企业可以在自己的决策数据上训练这个经过校准的基础模型。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计约有 300 次下载。
适合做什么
- 智能体必须在固定选项中做选择的分流、分诊和审批环节,把概率用作阈值
- 关于印度语言文本的决策,Sarvam 称在它自己的指数上这是它领先最多的地方
- 有 B200 或 H200、想在自己的决策数据上训练一个经过校准的基础模型的团队
需要注意
- 它需要一块支持 FP8、约有 120 GB 可用显存的 NVIDIA GPU,并且只能通过 Sarvam 自己的推理代码运行
- 它不能解释自己,也不能执行动作,它的概率应当用你自己标注的样例去测试
- 所有分数都是 Sarvam 自己的,使用的是它自己选择的指数组合,其中一个还是它自己搭建的,而且表里有两个模型平均分更高,只是更慢
- 这个模型是新的,目前下载量很少,所以几乎没有独立测试
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Sarvam Prism (custom FP8) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Sarvam Prism (custom FP8) FP8 | 105B 激活 10.3B | 241 GB | 121 GB | 120 GB | 大内存台式机 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 120 GB。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
常见问题
- Sarvam Prism 是什么?
- Sarvam Prism 是建立在 Sarvam 的 105B 语言模型之上的决策模型。它不写文字,而是接收一个情境和带固定答案选项的问题,并给每个选项返回一个概率。它用于自动化日常决策,在印度语言上表现很强,但需要非常大的 GPU。
- Sarvam Prism 可以商用吗?
- 可以。Sarvam Prism 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Sarvam Prism 是开源的吗?
- Sarvam Prism 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Sarvam Prism 吗?
- 只有大内存机器才行。最小版本 Sarvam Prism (custom FP8) 在 4 位精度下约需 120 GB。配备 128 至 512 GB 统一内存的台式机可以装下,但速度一般。
- Sarvam Prism 是什么时候发布的?
- Sarvam Prism 由 Sarvam AI 于 2026年11月3日 发布。
- Sarvam Prism 的上下文窗口有多长?
- Sarvam Prism 支持最长 128K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Sarvam AI: Introducing Sarvam Prism (3 Nov 2026) sarvam.ai
- Sarvam-Prism model card (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Sarvam 30B and 105B Sarvam AI | 32.1B – 106B 激活 10.3B | 128K | Apache 2.0 (宽松) | 22 GB 游戏显卡 | |
| pplx-decider Perplexity | 4.54B – 26.1B | 256K | Apache 2.0 (宽松) | 3.13 GB 笔记本或手机 | |
| AutoTrust Decider AutoTrust AI Lab | 8.95B – 36B 激活 3B | 256K | Apache 2.0 (宽松) | 6.18 GB 笔记本或手机 | |
| Clef Cloudflare | 9.41B – 27.4B | 64K | Apache 2.0 (宽松) | 6.49 GB 笔记本或手机 |