Cosmos 3
NVIDIA 面向机器人和自动驾驶的开放世界模型,有 4B、16B 和 64B 三种尺寸,可读写文本、图像、视频和动作。
一句话概括. Cosmos 3 是 NVIDIA 的一组 AI 模型,用来理解和模拟物理世界。你可以输入文字、图片、视频或机器人动作,它能用文字回答、画一张图、生成短视频,或预测机器人下一步该做什么,两个较大的模型还能处理声音。它面向机器人和自动驾驶研究,许可证很宽松。
概述
NVIDIA 把 Cosmos 3 称为面向物理 AI 的全模态世界模型家族,物理 AI 指机器人、自动驾驶汽车和智能空间。同一个模型以文本、图像、视频和机器人动作轨迹为输入(两个较大的模型还能输入音频),输出文本、图像、视频和动作(同样加上音频)。160 亿参数的 Cosmos3-Nano 和 640 亿参数的 Cosmos3-Super 于 2026 年 5 月 31 日发布在 Hugging Face 上,40 亿参数的 Cosmos3-Edge 在 2026 年 7 月 20 日跟进,不含音频。设计是混合 Transformer(Mixture-of-Transformers),同一个网络里有两座塔:自回归 Transformer 负责写文本和推理,扩散 Transformer 通过迭代去噪生成图像、视频、音频和动作。
生成器可以输出 5 到 400 帧的视频,分辨率为 256p、480p 或 720p,默认 189 帧,48 kHz 立体声音频封装在 MP4 中,还能为支持的本体生成图像和动作序列,例如相机运动、汽车、第一人称视角、Franka 机械臂、AgiBot、UR、Google robot、WidowX 和 UMI。推理器可以读取图像和视频,上下文最长 256K token,用文字作答,并给出推理、2D 和 3D 点以及边界框。文本提示词限制为 4,096 个 token,NVIDIA 建议先用大模型把简短提示词扩写成 JSON 结构,它的示例脚本会调用你选择的大模型端点,示例用的是 Claude Opus 4.6。NVIDIA 还发布了用于图生视频、文生图、4 步生成、仿真、迁移和机器人策略的后训练检查点,我们没有逐个列出。
官方只测试了 BF16,模型卡说 FP8、FP4 和 FP16 不受官方支持。仓库大小约为 Edge 9.2 GB、Nano 35 GB、Super 133 GB,模型在 Linux 上通过 vLLM-Omni、Diffusers、SGLang 或 PyTorch 运行,需要 NVIDIA 的 Ampere、Hopper 或 Blackwell GPU。NVIDIA 推荐的配置是:Nano 用一块 H200,Super 用八块 H200、H100 或 A100,其中 50 步视频在 H200 上约需 55 秒,两块则约 3 分钟。对于 Edge,NVIDIA 的表格显示,用 vLLM-Omni 生成 189 帧 480p 的图生视频,H100 上约 28 秒,DGX Spark 上 166 秒,Jetson AGX Thor 上 138 秒。
权重采用宽松的 OpenMDW-1.1 许可证,模型卡称这些模型可用于商业和非商业用途。模型卡列出了来自 393 个数据集的 13 亿个训练样本,其中包括 3.4 亿个 YouTube 视频样本、1 亿张 Coyo-700M 图像、约 2,900 万张用 HiDream-I1 和 Qwen-Image-2512 合成的图像,以及 11 亿条用 Qwen3-VL 写的合成描述,并称已经过滤掉受限内容。基准结果以图表形式出现在模型卡和技术报告中。NVIDIA 称 Edge 的生成吞吐量最高,在 PAIBench、RBench 和 PhysicsIQ 上质量有竞争力,这是开发方的说法。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计 Nano 约有 131 万次下载,Edge 5.7 万次,Super 4.3 万次。
适合做什么
- 需要用世界模型预测视频、动作或结果的机器人和自动驾驶研究
- 在自己的 NVIDIA 硬件上生成带同步音频的物理场景短视频
- 对视频做视觉推理,答案里带有点和边界框
- 以宽松许可证的模型为起点做策略或仿真器微调,4B 的 Edge 单卡即可
需要注意
- 它面向物理 AI,最高 720p、400 帧,不是通用的创意视频工具
- 只有 BF16 经过官方测试,Super 的权重约 133 GB,NVIDIA 推荐的配置是八块数据中心 GPU
- 只能在 Linux 和 NVIDIA GPU 上运行
- 要获得最佳质量,需要先用大模型把提示词扩写成 JSON 结构
- 模型卡的训练清单包含 YouTube 视频等大型抓取数据集,OpenMDW 不会替你清理第三方权利
- 基准结论来自 NVIDIA 自己
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Cosmos 3 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| Cosmos3-Edge BF16 | 3.86B | 9.2 GB | 11 GB | 笔记本或手机 |
| Cosmos3-Nano BF16 | 15.8B | 35 GB | 40 GB | 工作站 |
| Cosmos3-Super BF16 | 64.6B | 133 GB | 153 GB | 大内存台式机 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。
延伸阅读
常见问题
- Cosmos 3 是什么?
- Cosmos 3 是 NVIDIA 的一组 AI 模型,用来理解和模拟物理世界。你可以输入文字、图片、视频或机器人动作,它能用文字回答、画一张图、生成短视频,或预测机器人下一步该做什么,两个较大的模型还能处理声音。它面向机器人和自动驾驶研究,许可证很宽松。
- Cosmos 3 可以商用吗?
- 可以。Cosmos 3 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Cosmos 3 是开源的吗?
- Cosmos 3 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Cosmos 3 吗?
- 可以。最小版本 Cosmos3-Edge 在 4 位精度下约需 11 GB 内存,现代笔记本或中端显卡即可胜任。
- Cosmos 3 是什么时候发布的?
- Cosmos 3 由 NVIDIA 于 2026年5月31日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Cosmos 3 project page (NVIDIA Cosmos Lab) research.nvidia.com
- Cosmos 3 technical report (NVIDIA Research) research.nvidia.com
- Cosmos3-Nano model card (Hugging Face) huggingface.co
- Cosmos3-Edge model card (Hugging Face) huggingface.co
- Cosmos3-Super model card (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Wan 2.2 Alibaba Wan | 5B – 27B 激活 14B | – | Apache 2.0 (宽松) | 24 GB 游戏显卡 | |
| LTX-2.5 LTX (Lightricks) | 22B | – | LTX-2.x Community (附条件) | 16 GB 笔记本或手机 | |
| MiniMax H3 MiniMax | 33.1B | – | MiniMax H3 Community (附条件) | 166 GB 大内存台式机 | |
| Pika H3 Flex Pika | 33.1B | – | MiniMax H3 Community (附条件) | 169 GB 大内存台式机 |