Cosmos 3
NVIDIAのロボットと自動運転向けオープンな世界モデル。4B・16B・64Bの3サイズで、テキスト、画像、動画、動作を読み書きします。
ひとことで. Cosmos 3は、物理世界を理解しシミュレーションするNVIDIAのAIモデル群です。テキスト、画像、動画、ロボットの動きを入力として与えると、言葉で答えたり、画像を描いたり、短い動画を生成したり、ロボットが次に何をすべきかを予測したりできます。大きい2つのモデルは音声も扱えます。ロボット工学と自動運転の研究向けに作られ、ライセンスは寛容です。
概要
NVIDIAはCosmos 3を、物理AI向けのオムニモーダルな世界モデル群と呼んでいます。物理AIとはロボット、自動運転車、スマートスペースのことです。1つのモデルがテキスト、画像、動画、ロボットの動作軌跡を入力として受け(大きい2つは音声も)、テキスト、画像、動画、動作、そして音声を出力します。160億パラメータのCosmos3-Nanoと640億パラメータのCosmos3-Superは2026年5月31日にHugging Faceで公開され、40億のCosmos3-Edgeが2026年7月20日に音声なしで続きました。設計はMixture-of-Transformersで、1つのネットワークに2本の塔があります。テキストと推論を書く自己回帰Transformerと、反復デノイジングで画像・動画・音声・動作を生成する拡散Transformerです。
生成器は256p、480p、720pの5〜400フレームの動画(既定は189フレーム)を作り、48 kHzステレオ音声をMP4に多重化して埋め込みます。カメラ運動、自動車、一人称視点、Frankaアーム、AgiBot、UR、Google robot、WidowX、UMIといった対応するロボット構成(エンボディメント)向けに、画像と動作シーケンスも生成します。推論器は最大256Kトークンのコンテキストで画像と動画を読み、推論、2D・3Dの点、境界ボックスを含むテキストで答えます。テキストプロンプトは4,096トークンまでに制限され、NVIDIAは短いプロンプトをまず大モデルでJSON構造に拡張することを勧めています。同社のサンプルスクリプトは、あなたが選んだ大モデルのエンドポイントを呼び出し、例ではClaude Opus 4.6を使います。NVIDIAはまた、画像から動画、テキストから画像、4ステップ生成、シミュレーション、転移、ロボットポリシー向けのポストトレーニング済みチェックポイントも公開していますが、当サイトでは1つずつ列挙していません。
公式にテストされているのはBF16だけで、モデルカードはFP8、FP4、FP16を公式サポート外としています。リポジトリはEdgeが約9.2 GB、Nanoが35 GB、Superが133 GBで、モデルはNVIDIAのAmpere、Hopper、Blackwell GPUを備えたLinux上で、vLLM-Omni、Diffusers、SGLang、PyTorchで動きます。NVIDIA推奨の構成はNanoにH200 1枚、SuperにH200・H100・A100の8枚で、Superでは50ステップの動画生成がH200で約55秒、2枚で約3分かかります。Edgeでは、NVIDIAの表によると189フレーム480pの画像から動画への生成が、vLLM-OmniでH100上約28秒、DGX Sparkで166秒、Jetson AGX Thorで138秒です。
重みは寛容なOpenMDW-1.1ライセンスで、カードは商業・非商業の両方での利用が可能だと述べています。カードは393のデータセットからの13億の学習サンプルを列挙しています。3.4億のYouTube動画サンプル、1億のCoyo-700M画像、HiDream-I1とQwen-Image-2512で作られた約2,900万の合成画像、Qwen3-VLで書かれた11億の合成キャプションで、制限対象のコンテンツは除外済みだと言います。ベンチマーク結果はカードと技術報告のグラフの形で示されます。NVIDIAは、Edgeが最高の生成スループットを持ち、PAIBench、RBench、PhysicsIQで競争力のある品質だと言いますが、これは開発者の主張です。2026年11月11日までの30日間で、Hugging FaceはNanoのダウンロード約131万回、Edge 5.7万回、Super 4.3万回を数えました。
おすすめの用途
- 動画、動作、結果の予測に世界モデルが必要なロボット工学と自動運転の研究
- 自前のNVIDIAハードウェアで、同期音声付きの物理シーン短編動画を生成
- 動画上の視覚推論。答えには点と境界ボックスが含まれます
- 寛容なライセンスのベースからポリシーやシミュレータのファインチューニングを始める。4BのEdgeなら1枚のGPUで十分
注意点
- 物理AI向けに作られており、720p・400フレームが上限です。汎用の創作動画ツールではありません
- 公式にテストされているのはBF16のみで、Superは重み約133 GBに加え、NVIDIA推奨構成ではデータセンターGPU 8枚が必要です
- LinuxとNVIDIA GPU上でのみ動きます
- 最高品質には、まず大モデルでプロンプトをJSON構造に拡張する必要があります
- カードの学習リストにはYouTube動画などの大規模スクレイピングデータセットが含まれ、OpenMDWは第三者の権利をあなたのためにクリアしません
- ベンチマークの主張はNVIDIA自身のものです
性能に関する主張は開発元によるもので、独自検証は行っていません。
必要なメモリはどのくらい?
Cosmos 3 の各バリエーションのメモリ数値です。画像・動画・音声・音楽の生成パイプラインはテキストエンコーダやデコーダも読み込むため、必要メモリはメインのチェックポイントより大きくなることがあります。
| バリエーション | パラメータ数 | ダウンロードサイズ | 必要メモリ | 動かせるマシン |
|---|---|---|---|---|
| Cosmos3-Edge BF16 | 3.86B | 9.2 GB | 11 GB | ノートPCまたはスマートフォン |
| Cosmos3-Nano BF16 | 15.8B | 35 GB | 40 GB | ワークステーション |
| Cosmos3-Super BF16 | 64.6B | 133 GB | 153 GB | 大容量メモリのデスクトップ |
ダウンロードサイズには、モデルの実行に必要なすべてのコンポーネント(ジェネレータ、テキストエンコーダ、デコーダなど)が含まれます。必要メモリは、開発元が公表している実測の最小値があればそれを採用し、なければダウンロードサイズに約15%を加えた推定値です。より大きな画像、より長いクリップ、より高い解像度ではさらに多くのメモリが必要です。
このライセンスをやさしく解説
Linux FoundationとPyTorch Foundationが機械学習モデル向けに作成した短いパーミッシブライセンスです。モデル、そのデータ、ドキュメント、ソフトウェアを一体としてカバーし、モデルの出力の利用には一切の制限を設けません。
あわせて読みたい
よくある質問
- Cosmos 3 とは何ですか?
- Cosmos 3は、物理世界を理解しシミュレーションするNVIDIAのAIモデル群です。テキスト、画像、動画、ロボットの動きを入力として与えると、言葉で答えたり、画像を描いたり、短い動画を生成したり、ロボットが次に何をすべきかを予測したりできます。大きい2つのモデルは音声も扱えます。ロボット工学と自動運転の研究向けに作られ、ライセンスは寛容です。
- Cosmos 3 は商用利用できますか?
- はい。Cosmos 3 はパーミッシブライセンスの OpenMDW-1.1 で公開されています。ライセンス表示の保持といった標準的な条件を守れば、商用利用できます。
- Cosmos 3 はオープンソースですか?
- Cosmos 3 はオープンウェイトであり、厳密な意味でのオープンソースではありません。モデルファイルはダウンロードできますが、OpenMDW-1.1 には、Open Source Initiative の定義では認められない条件が加えられています。
- Cosmos 3 を自分のPCで動かせますか?
- はい。最小のバリエーション Cosmos3-Edge は、4ビット精度で約 11 GB のメモリが必要です。最新のノートPCやミドルクラスのグラフィックボードで動きます。
- Cosmos 3 はいつリリースされましたか?
- Cosmos 3 は NVIDIA が 2026年5月31日 にリリースしました。
公式リンク
出典
仕様は以下の一次資料に基づきます。ベンチマークの主張がある場合は開発元の公表値です。
- Cosmos 3 project page (NVIDIA Cosmos Lab) research.nvidia.com
- Cosmos 3 technical report (NVIDIA Research) research.nvidia.com
- Cosmos3-Nano model card (Hugging Face) huggingface.co
- Cosmos3-Edge model card (Hugging Face) huggingface.co
- Cosmos3-Super model card (Hugging Face) huggingface.co
リリース日と掲載内容は 2026年11月11日 時点で確認済みです。
関連モデル
| モデル | リリース日 | パラメータ数 | コンテキスト | ライセンス | 最小バリエーションの必要メモリ |
|---|---|---|---|---|---|
| Wan 2.2 EN Alibaba Wan | 5B – 27B アクティブ 14B | – | Apache 2.0 (パーミッシブ) | 24 GB ゲーミングGPU | |
| LTX-2.5 EN LTX (Lightricks) | 22B | – | LTX-2.x Community (条件付き) | 16 GB ノートPCまたはスマートフォン | |
| MiniMax H3 EN MiniMax | 33.1B | – | MiniMax H3 Community (条件付き) | 166 GB 大容量メモリのデスクトップ | |
| Pika H3 Flex EN Pika | 33.1B | – | MiniMax H3 Community (条件付き) | 169 GB 大容量メモリのデスクトップ |