Sarvam Prism

Sarvam 的 105B 决策模型:针对一个情境的带类型问题,一次推理给出每个选项的概率,在 B200 上中位耗时 44 毫秒。

一句话概括. Sarvam Prism 是建立在 Sarvam 的 105B 语言模型之上的决策模型。它不写文字,而是接收一个情境和带固定答案选项的问题,并给每个选项返回一个概率。它用于自动化日常决策,在印度语言上表现很强,但需要非常大的 GPU。

概述

Sarvam Prism 是 Sarvam AI 在 2026 年 11 月 3 日发布的决策模型,建立在它的 105B 混合专家语言模型之上,约有 103 亿激活参数。一次请求给出一个状态,可以是任意文本或 JSON,再加上一个或多个带类型的问题:选择、是否、或按有序等级打分。模型一次前向推理就给每个选项返回概率,不生成文字,所以答案一定是你给出的选项之一。一个小型决策头读取模型的隐藏状态,每个选项在编码时看不到其他选项,选择题的选项按固定顺序打分,所以答案不取决于你发送选项的顺序。每个问题的上下文上限是 131072 个 token。

Sarvam 把它与另外 24 个决策模型在它自己运行的三项指数上做了对比:Jev Decision Index 的 37 个公开基准、它自己重新实现的 Artificial Analysis Decision Index,以及一个内部的印度语言基准。Prism 平均 71.8 分,在一块 B200 GPU 上的中位响应时间是 44 毫秒,Sarvam 称这是所有响应时间在 100 毫秒以内的模型中得分最高的。在它文章里的表格上,mammoth-1 平均 75.2,GLiDE 1.2 平均 73.2,但分别需要 284 毫秒和 116 毫秒,Perplexity Decider v1.2 平均 68.0,耗时 117 毫秒。Prism 在印度语言指数上得 82.5,Perplexity Decider v1.2 是 75.0。Sarvam 还称它的置信度经过校准,即在 90% 以上置信度时,它的错误不超过它预期的错误。这些是 Sarvam 自己的结果,使用的是它自己选择的基准组合,我们没有复现。

权重采用 Apache 2.0,Sarvam 也提供托管 API。权重以自定义 FP8 格式存放,共 106 GB,所以不能用 AutoModelForCausalLM 加载,也不能用通用推理服务器来提供服务:你要在一块支持 FP8、约有 120 GB 可用显存的 NVIDIA GPU(比如 B200 或 H200)上使用 Sarvam 的 prism.py 推理代码。Sarvam 称企业可以在自己的决策数据上训练这个经过校准的基础模型。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计约有 300 次下载。

适合做什么

  • 智能体必须在固定选项中做选择的分流、分诊和审批环节,把概率用作阈值
  • 关于印度语言文本的决策,Sarvam 称在它自己的指数上这是它领先最多的地方
  • 有 B200 或 H200、想在自己的决策数据上训练一个经过校准的基础模型的团队

需要注意

  • 它需要一块支持 FP8、约有 120 GB 可用显存的 NVIDIA GPU,并且只能通过 Sarvam 自己的推理代码运行
  • 它不能解释自己,也不能执行动作,它的概率应当用你自己标注的样例去测试
  • 所有分数都是 Sarvam 自己的,使用的是它自己选择的指数组合,其中一个还是它自己搭建的,而且表里有两个模型平均分更高,只是更慢
  • 这个模型是新的,目前下载量很少,所以几乎没有独立测试

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 Sarvam Prism (custom FP8) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
Sarvam Prism (custom FP8) FP8 105B 激活 10.3B 241 GB 121 GB 120 GB 大内存台式机

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 120 GB。

显存计算器

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

常见问题

Sarvam Prism 是什么?
Sarvam Prism 是建立在 Sarvam 的 105B 语言模型之上的决策模型。它不写文字,而是接收一个情境和带固定答案选项的问题,并给每个选项返回一个概率。它用于自动化日常决策,在印度语言上表现很强,但需要非常大的 GPU。
Sarvam Prism 可以商用吗?
可以。Sarvam Prism 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Sarvam Prism 是开源的吗?
Sarvam Prism 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 Sarvam Prism 吗?
只有大内存机器才行。最小版本 Sarvam Prism (custom FP8) 在 4 位精度下约需 120 GB。配备 128 至 512 GB 统一内存的台式机可以装下,但速度一般。
Sarvam Prism 是什么时候发布的?
Sarvam Prism 由 Sarvam AI 于 2026年11月3日 发布。
Sarvam Prism 的上下文窗口有多长?
Sarvam Prism 支持最长 128K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Sarvam 30B and 105B Sarvam AI 32.1B – 106B 激活 10.3B 128K Apache 2.0 (宽松) 22 GB 游戏显卡
pplx-decider Perplexity 4.54B – 26.1B 256K Apache 2.0 (宽松) 3.13 GB 笔记本或手机
AutoTrust Decider AutoTrust AI Lab 8.95B – 36B 激活 3B 256K Apache 2.0 (宽松) 6.18 GB 笔记本或手机
Clef Cloudflare 9.41B – 27.4B 64K Apache 2.0 (宽松) 6.49 GB 笔记本或手机