SenseNova-Loop-9B-Preview

9B 视觉语言模型,32 层中有 24 层会运行两遍。Apache 2.0,256K 上下文,但需要自定义代码。

一句话概括. SenseNova-Loop-9B-Preview 能读文字和图片,面向长文档、编程和工具调用。它的窍门是把自己的一部分层重复使用两次,不增加存储的参数就能想得更深。它还是早期预览版,需要专门的代码,常用的本地工具暂时无法运行它。

概述

SenseNova-Loop-9B-Preview 是商汤日日新(SenseNova)团队的多模态模型,于 2026 年 10 月 30 日以 Apache 2.0 许可证发布。它接受文字和图片,输出文字,商汤把它定位在长上下文和智能体工作,如文档理解、编程和工具调用。它被标为预览版,技术报告和 Transformers 实现的说明仍标注“TBD”或“将公布”。

它的核心特征是循环解码器。模型存有 32 个不同的解码层,但第 4 到 27 层以共享权重运行两遍,所以每个 token 要经过 56 次层运算。商汤把这算作约 146 亿“推理参数”,而存储的参数约 90 亿。循环发生在两条残差流之内,两条流的混合方式是学出来的(双流流形约束超连接)。注意力以三层线性注意力加一层全注意力的方式交替。隐藏维度 4096,16 个注意力头配 4 个键值头,词表 248,320,训练上下文 262,144 token。仓库里带有多 token 预测的权重,用于加速解码,两个草稿模型 DSpark 和 DFlash2 被列为仍在训练中。

商汤只用一张图表展示结果,图表把它与 Nanbeige4.2-3B、IQuest-Coder-V1-40B-Loop-Thinking 以及 Qwen3.5 和 Qwen3.6 模型做了比较。它在文本转 SQL 测试 BIRD-Dev(71.38 对 Qwen3.5-27B 的 69.84)和 WorkBuddy Bench(66.89 对最好的 Qwen 模型的 61.98)上领先;在 Terminal-Bench 2.1 上得 40.45 分,低于 Qwen3.5-27B(47.19)和 Nanbeige4.2-3B(49.44)。这些是商汤自己的数字。托管的文件大部分以 FP32 存储(含多 token 预测文件共 38.1 GB),虽然模型卡写的是 BF16 主干,卡里的示例也以 BF16 加载。模型需要自定义代码:模型卡列出了带远程代码的 Transformers、面向四块 GPU 的 LightLLM 方案,以及 vLLM 和 SGLang 的未合并拉取请求,没有列出 llama.cpp、Ollama 或 LM Studio。

适合做什么

  • 在一块 24 GB 左右显存的 GPU 上试验循环式多模态智能体模型
  • 循环 Transformer 和超连接的研究,因为训练脚本和草稿模型训练代码是公开的
  • 用一个小模型同时读文档和图表、调用工具和写代码的原型
  • 最长 256K token 的输入,取决于你为缓存留出的内存

需要注意

  • 这是预览版,还没有技术报告,只能通过自定义代码或未合并的拉取请求运行
  • 每个 token 要运行 56 次层运算,比标准 9B 模型慢,模型卡没有给出速度数据
  • 没有量化版本,按我们的估算,BF16 权重需要约 22 GB 内存
  • 基准图表是商汤自己的,在图里它在 Terminal-Bench 2.1 上落后于 Nanbeige4.2-3B
  • 模型卡写 BF16,托管文件却大部分是 FP32,所以下载量约 38 GB

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 SenseNova-Loop-9B-Preview 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
SenseNova-Loop-9B-Preview FP32 9.66B 22 GB 11 GB 22 GB 游戏显卡

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。 开发方给出的最低显存要求为 22 GB。

显存计算器

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

SenseNova-Loop-9B-Preview 是什么?
SenseNova-Loop-9B-Preview 能读文字和图片,面向长文档、编程和工具调用。它的窍门是把自己的一部分层重复使用两次,不增加存储的参数就能想得更深。它还是早期预览版,需要专门的代码,常用的本地工具暂时无法运行它。
SenseNova-Loop-9B-Preview 可以商用吗?
可以。SenseNova-Loop-9B-Preview 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
SenseNova-Loop-9B-Preview 是开源的吗?
SenseNova-Loop-9B-Preview 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 SenseNova-Loop-9B-Preview 吗?
可以,但需要一块好显卡。最小版本 SenseNova-Loop-9B-Preview 在 4 位精度下约需 22 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
SenseNova-Loop-9B-Preview 是什么时候发布的?
SenseNova-Loop-9B-Preview 由 SenseTime 于 2026年10月30日 发布。
SenseNova-Loop-9B-Preview 的上下文窗口有多长?
SenseNova-Loop-9B-Preview 支持最长 256K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Nanbeige4.2-3B Nanbeige LLM Lab 4.17B 256K Apache 2.0 (宽松) 2.88 GB 笔记本或手机
MiniCPM-V 4.7 OpenBMB 1.55B – 35.2B 激活 3B 256K Apache 2.0 (宽松) 1.07 GB 笔记本或手机
Qwen3.8-27B Alibaba Qwen 27.8B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机