SenseNova-Loop-9B-Preview
9B 视觉语言模型,32 层中有 24 层会运行两遍。Apache 2.0,256K 上下文,但需要自定义代码。
一句话概括. SenseNova-Loop-9B-Preview 能读文字和图片,面向长文档、编程和工具调用。它的窍门是把自己的一部分层重复使用两次,不增加存储的参数就能想得更深。它还是早期预览版,需要专门的代码,常用的本地工具暂时无法运行它。
概述
SenseNova-Loop-9B-Preview 是商汤日日新(SenseNova)团队的多模态模型,于 2026 年 10 月 30 日以 Apache 2.0 许可证发布。它接受文字和图片,输出文字,商汤把它定位在长上下文和智能体工作,如文档理解、编程和工具调用。它被标为预览版,技术报告和 Transformers 实现的说明仍标注“TBD”或“将公布”。
它的核心特征是循环解码器。模型存有 32 个不同的解码层,但第 4 到 27 层以共享权重运行两遍,所以每个 token 要经过 56 次层运算。商汤把这算作约 146 亿“推理参数”,而存储的参数约 90 亿。循环发生在两条残差流之内,两条流的混合方式是学出来的(双流流形约束超连接)。注意力以三层线性注意力加一层全注意力的方式交替。隐藏维度 4096,16 个注意力头配 4 个键值头,词表 248,320,训练上下文 262,144 token。仓库里带有多 token 预测的权重,用于加速解码,两个草稿模型 DSpark 和 DFlash2 被列为仍在训练中。
商汤只用一张图表展示结果,图表把它与 Nanbeige4.2-3B、IQuest-Coder-V1-40B-Loop-Thinking 以及 Qwen3.5 和 Qwen3.6 模型做了比较。它在文本转 SQL 测试 BIRD-Dev(71.38 对 Qwen3.5-27B 的 69.84)和 WorkBuddy Bench(66.89 对最好的 Qwen 模型的 61.98)上领先;在 Terminal-Bench 2.1 上得 40.45 分,低于 Qwen3.5-27B(47.19)和 Nanbeige4.2-3B(49.44)。这些是商汤自己的数字。托管的文件大部分以 FP32 存储(含多 token 预测文件共 38.1 GB),虽然模型卡写的是 BF16 主干,卡里的示例也以 BF16 加载。模型需要自定义代码:模型卡列出了带远程代码的 Transformers、面向四块 GPU 的 LightLLM 方案,以及 vLLM 和 SGLang 的未合并拉取请求,没有列出 llama.cpp、Ollama 或 LM Studio。
适合做什么
- 在一块 24 GB 左右显存的 GPU 上试验循环式多模态智能体模型
- 循环 Transformer 和超连接的研究,因为训练脚本和草稿模型训练代码是公开的
- 用一个小模型同时读文档和图表、调用工具和写代码的原型
- 最长 256K token 的输入,取决于你为缓存留出的内存
需要注意
- 这是预览版,还没有技术报告,只能通过自定义代码或未合并的拉取请求运行
- 每个 token 要运行 56 次层运算,比标准 9B 模型慢,模型卡没有给出速度数据
- 没有量化版本,按我们的估算,BF16 权重需要约 22 GB 内存
- 基准图表是商汤自己的,在图里它在 Terminal-Bench 2.1 上落后于 Nanbeige4.2-3B
- 模型卡写 BF16,托管文件却大部分是 FP32,所以下载量约 38 GB
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 SenseNova-Loop-9B-Preview 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| SenseNova-Loop-9B-Preview FP32 | 9.66B | 22 GB | 11 GB | 22 GB | 游戏显卡 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 22 GB。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- SenseNova-Loop-9B-Preview 是什么?
- SenseNova-Loop-9B-Preview 能读文字和图片,面向长文档、编程和工具调用。它的窍门是把自己的一部分层重复使用两次,不增加存储的参数就能想得更深。它还是早期预览版,需要专门的代码,常用的本地工具暂时无法运行它。
- SenseNova-Loop-9B-Preview 可以商用吗?
- 可以。SenseNova-Loop-9B-Preview 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- SenseNova-Loop-9B-Preview 是开源的吗?
- SenseNova-Loop-9B-Preview 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 SenseNova-Loop-9B-Preview 吗?
- 可以,但需要一块好显卡。最小版本 SenseNova-Loop-9B-Preview 在 4 位精度下约需 22 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
- SenseNova-Loop-9B-Preview 是什么时候发布的?
- SenseNova-Loop-9B-Preview 由 SenseTime 于 2026年10月30日 发布。
- SenseNova-Loop-9B-Preview 的上下文窗口有多长?
- SenseNova-Loop-9B-Preview 支持最长 256K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- SenseNova-Loop-9B-Preview model card (Hugging Face) huggingface.co
- SenseNova-Loop repository (GitHub) github.com
- SenseNova-Loop LICENSE (Apache 2.0) github.com
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Nanbeige4.2-3B Nanbeige LLM Lab | 4.17B | 256K | Apache 2.0 (宽松) | 2.88 GB 笔记本或手机 | |
| MiniCPM-V 4.7 OpenBMB | 1.55B – 35.2B 激活 3B | 256K | Apache 2.0 (宽松) | 1.07 GB 笔记本或手机 | |
| Qwen3.8-27B Alibaba Qwen | 27.8B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 |