SenseNova-U1.5
商汤的 8B 原生统一模型:能读图、最高生成 4K、改图,还能图文混排输出。Apache 2.0。
一句话概括. SenseNova-U1.5 是商汤推出的开放模型,既能看懂图片,也能生成图片。它可以根据文字提示作画、修改照片、回答关于图片的问题,还能在一次回复里图文混排。它没有单独的图像编码器,最高能生成 4K 图像,35 GB 的权重在允许把部分层卸载到系统内存时,一块 24 GB 显卡就能运行。
概述
商汤日日新(SenseNova)团队在 2026 年 8 月 20 日以 Apache 2.0 发布了 SenseNova-U1.5-8B-MoT,Hugging Face 仓库提前一天出现。它是 SenseNova-U 系列的第二代,该系列从 2026 年 4 月的 U1 开始,建立在 NEO-unify 架构之上,这个架构同时去掉了大多数图像模型都在用的视觉编码器和 VAE。一个原生的混合 Transformer(MoT)在同一个模型里处理理解和生成,文字用下一个 token 预测训练,图像用像素流匹配训练。U1.5 用卷积重建步骤取代了 U1 各块独立输出的做法,以减少高分辨率下的接缝,最高可生成 4K。它能根据文字生成图像、编辑图像,支持用边界框和视觉标记做区域级控制,处理多张参考图,输出图文交错的内容,并回答关于图片的问题。语言部分由 Qwen3 权重初始化。
SenseNova 的论文在自己的表格里给出以下结果,部分对手的分数是 SenseNova 自己复现的。GenEval 总分 0.92,U1 为 0.91,HiDream-O1-Image 为 0.90,20B 的 Qwen-Image 为 0.87,闭源的 GPT-Image-2 为 0.89。LongText-Bench 上英文 0.988、中文 0.989,U1 为 0.979 和 0.962,32B 的 Emu3.5 为 0.976 和 0.928。CVTG-2K 平均 0.948,论文称这是它所评测模型中最好的。GenEval2 上得 0.55,使用提示词增强后为 0.71,低于闭源的 GPT-Image-2(0.81)和 Qwen-Image-3.0(0.76)。理解方面,8B 思考版在 MMMU 上得 73.86,MathVista 得 85.85,MMBench 得 90.47,在 MathVista 和 MMBench 上高于 Qwen3-VL 8B,在 MMMU 上略低于它,在若干测试上落后于 Qwen3.5 9B。模型卡列出了它仍存在的不足:细节或颜色过度、密集或中英混排文字出错、精确的数量和对齐不够稳、小脸和手不稳定,以及多轮或多参考图编辑中的漂移。
检查点在 BF16 下为 35.1 GB,Hugging Face 统计为 17.5B 参数,而 SenseNova 把它称作 8B 模型。参考代码需要 Python 3.11、PyTorch 2.8 和 CUDA 12.8,模型通过自定义代码加载。README 的 fast 内存模式会从系统内存中流式载入各层,使 24 GB 显卡以接近满速运行,其他模式以速度换取更低的显存。README 没有列出正式版的 GGUF,只列了一个社区制作、针对更早 Preview 检查点的 19.9 GB Q8 版本;官方还提供了 8 步 LoRA 来加快生成。SenseNova 自己基于 LightLLM 和 LightX2V 的推理栈报告称,在 H100 或 H200 的单节点上采用 TP2 和 CFG2 并行,生成一张 2048 × 2048 图像约需 9 秒。2026 年 11 月 4 日发布的 TailSteer 版本是额外的训练阶段,其作者称可以减轻反复编辑中的漂移,在他们自己的基准上,第 10 轮时编辑区域之外的 PSNR 高出 6.99 dB。在截至 2026 年 11 月 11 日的 30 天里,Hugging Face 统计到主仓库约 5200 次下载,所以采用度仍然很小。
适合做什么
- 带中英双语文字的海报、信息图和设计稿,这是它文字渲染得分最强的地方
- 用多张参考图、边界框或视觉标记做图像编辑
- 需要用同一个开放模型同时完成图像生成和图像理解的流水线
- 商业用途,因为 Apache 2.0 本身没有使用限制
需要注意
- 所有分数都来自 SenseNova 自己,在 GenEval2 上它落后于闭源的 GPT-Image-2 和 Qwen-Image-3.0
- 24 GB 的方案依赖层卸载,需要足够的系统内存;据我们估算,整个模型放进显卡则需要约 40 GB
- 参考代码是自定义的,需要特定的 Python、PyTorch 和 CUDA 环境
- 据模型卡所说,小脸、手、密集小字和很长的编辑链仍然不可靠
- README 为 U1.5 列出的 GGUF 只是针对更早 Preview 的社区版本,不是官方发布版
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 SenseNova-U1.5 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| SenseNova-U1.5-8B-MoT BF16 | 17.5B | 35 GB | 24 GB | 游戏显卡 |
| SenseNova-U1.5-8B-MoT-TailSteer BF16 | 17.5B | 35 GB | 24 GB | 游戏显卡 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。 开发方给出的最低显存要求为 24 GB。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- SenseNova-U1.5 是什么?
- SenseNova-U1.5 是商汤推出的开放模型,既能看懂图片,也能生成图片。它可以根据文字提示作画、修改照片、回答关于图片的问题,还能在一次回复里图文混排。它没有单独的图像编码器,最高能生成 4K 图像,35 GB 的权重在允许把部分层卸载到系统内存时,一块 24 GB 显卡就能运行。
- SenseNova-U1.5 可以商用吗?
- 可以。SenseNova-U1.5 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- SenseNova-U1.5 是开源的吗?
- SenseNova-U1.5 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 SenseNova-U1.5 吗?
- 可以,但需要一块好显卡。最小版本 SenseNova-U1.5-8B-MoT 在 4 位精度下约需 24 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
- SenseNova-U1.5 是什么时候发布的?
- SenseNova-U1.5 由 SenseTime 于 2026年8月20日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- SenseNova-U1.5-8B-MoT model card (Hugging Face) huggingface.co
- SenseNova-U1.5: Towards Native Unified Visual Intelligence (arXiv 2609.11929) arxiv.org
- SenseNova-U1 repository: README, inference and memory modes (GitHub) github.com
- NEO-unify: Building Native Multimodal Unified Models End to End (Hugging Face blog) huggingface.co
- SenseNova-U1.5-8B-MoT-TailSteer model card (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen-Image-2.1 Alibaba Qwen | 7.1B | – | Qwen Research License (非商用) | 20 GB 游戏显卡 | |
| HiDream-O1-Image HiDream.ai | 8.8B | – | MIT (宽松) | 20 GB 游戏显卡 | |
| Ming-Image 0.1 Design inclusionAI (Ant Group) | 6.2B | – | MIT (宽松) | 80 GB 工作站 | |
| MOSS-Image OpenMOSS | 5.08B | – | Apache 2.0 (宽松) | 4.2 GB 笔记本或手机 |