Cosmos 3
Les world models de NVIDIA pour la robotique et la conduite, en 4B, 16B et 64B, qui lisent et écrivent texte, images, vidéo et actions.
En bref. Cosmos 3 est une famille de modèles d'IA de NVIDIA qui comprend et simule le monde physique. Vous pouvez lui donner du texte, des images, de la vidéo ou des mouvements de robot, et il peut répondre en mots, dessiner une image, générer une courte vidéo ou prédire ce qu'un robot devrait faire ensuite. Les deux plus grands modèles gèrent aussi le son. Il est conçu pour la recherche en robotique et en conduite autonome, et la licence est permissive.
Résumé
NVIDIA présente Cosmos 3 comme une famille de world models omnimodaux pour l'IA physique, c'est-à-dire les robots, les véhicules autonomes et les espaces intelligents. Un seul modèle prend en entrée du texte, des images, de la vidéo et des trajectoires d'actions de robot, plus de l'audio pour les deux plus grands, et écrit du texte, des images, de la vidéo et des actions, audio compris. Cosmos3-Nano, avec 16 milliards de paramètres, et Cosmos3-Super, avec 64 milliards, ont été publiés sur Hugging Face le 31 mai 2026, et le Cosmos3-Edge de 4B a suivi le 20 juillet 2026 sans audio. Le design est un Mixture-of-Transformers avec deux tours dans un même réseau : un transformer autorégressif qui écrit du texte et du raisonnement, et un transformer de diffusion qui génère images, vidéo, audio et actions par débruitage itératif.
Le générateur produit de la vidéo de 5 à 400 images en 256p, 480p ou 720p, 189 images par défaut, avec de l'audio stéréo 48 kHz muxé dans le MP4, et il fabrique des images et des séquences d'actions pour des embodiments pris en charge comme le mouvement de caméra, les voitures, les vues égocentriques, les bras Franka, AgiBot, UR, Google robot, WidowX et UMI. Le raisonneur lit des images et de la vidéo avec jusqu'à 256K tokens de contexte et répond en texte avec du raisonnement, des points 2D et 3D et des boîtes englobantes. Les prompts texte sont limités à 4 096 tokens, et NVIDIA recommande d'abord de développer les prompts courts en une structure JSON avec un LLM. Son script d'exemple appelle un endpoint LLM de votre choix et utilise Claude Opus 4.6. NVIDIA publie aussi des checkpoints post-entraînés pour image vers vidéo, texte vers image, génération en 4 étapes, simulation, transfert et politiques de robot, que nous ne listons pas un par un.
Seul le BF16 est officiellement testé, et les fiches disent que FP8, FP4 et FP16 ne sont pas officiellement pris en charge. Les dépôts font environ 9.2 GB pour Edge, 35 GB pour Nano et 133 GB pour Super, et les modèles tournent sous Linux avec des GPUs NVIDIA Ampere, Hopper ou Blackwell via vLLM-Omni, Diffusers, SGLang ou PyTorch. Les configurations recommandées par NVIDIA sont un H200 pour Nano et huit H200, H100 ou A100 pour Super, où une vidéo de 50 étapes prend environ 55 secondes sur des H200, ou environ 3 minutes sur deux. Pour Edge, les tableaux de NVIDIA montrent un clip image-vers-vidéo de 189 images en 480p en environ 28 secondes sur un H100, 166 secondes sur une DGX Spark et 138 secondes sur un Jetson AGX Thor avec vLLM-Omni.
Les poids utilisent la licence permissive OpenMDW-1.1, et les fiches disent que les modèles sont prêts pour un usage commercial et non commercial. Les fiches listent 1,3 milliard d'échantillons d'entraînement issus de 393 datasets, dont 340 millions d'échantillons vidéo de YouTube, 100 millions d'images de Coyo-700M, environ 29 millions d'images synthétiques faites avec HiDream-I1 et Qwen-Image-2512 et 1,1 milliard de légendes synthétiques écrites avec Qwen3-VL, et disent que les contenus restreints ont été filtrés. Les résultats de benchmark apparaissent dans des graphiques dans les fiches et le rapport technique. NVIDIA dit qu'Edge offre le meilleur débit de génération avec une qualité compétitive sur PAIBench, RBench et PhysicsIQ, ce qui est l'affirmation du développeur. Sur les 30 jours jusqu'au 11 novembre 2026, Hugging Face comptait environ 1,31 million de téléchargements de Nano, 57 000 de Edge et 43 000 de Super.
Idéal pour
- La recherche en robotique et conduite autonome qui a besoin d'un world model pour prédire vidéo, actions ou résultats
- Générer de courtes vidéos de scènes physiques avec audio synchronisé sur votre propre matériel NVIDIA
- Le raisonnement visuel sur la vidéo, avec des points et des boîtes dans la réponse
- Commencer un fine-tune de politique ou de simulateur depuis une base sous licence permissive, avec le Edge de 4B sur un seul GPU
Points d’attention
- Il est conçu pour l'IA physique et plafonne à 720p et 400 images, ce n'est donc pas un outil vidéo créatif généraliste
- Seul le BF16 est officiellement testé, et Super exige environ 133 GB de poids et huit GPUs de centre de données dans la configuration recommandée de NVIDIA
- Il ne tourne que sous Linux avec des GPUs NVIDIA
- La meilleure qualité exige un LLM qui développe d'abord les prompts en une structure JSON
- La liste d'entraînement de la fiche inclut de grands ensembles scrapés comme la vidéo YouTube, et OpenMDW ne clarifie pas les droits de tiers pour vous
- Les affirmations de benchmark sont celles de NVIDIA
Les affirmations de performance viennent du développeur et n’ont pas été vérifiées de manière indépendante.
De quelle mémoire a-t-il besoin ?
Chiffres de mémoire pour chaque variante de Cosmos 3. Les pipelines d’image, de vidéo, de voix et de musique chargent aussi un encodeur de texte et un décodeur, si bien que la mémoire nécessaire peut dépasser celle du checkpoint principal.
| Variantes | Paramètres | Taille du téléchargement | Mémoire nécessaire | Fonctionne sur |
|---|---|---|---|---|
| Cosmos3-Edge BF16 | 3.86B | 9.2 GB | 11 GB | Ordinateur portable ou smartphone |
| Cosmos3-Nano BF16 | 15.8B | 35 GB | 40 GB | Station de travail |
| Cosmos3-Super BF16 | 64.6B | 133 GB | 153 GB | Ordinateur de bureau à grande mémoire |
La taille du téléchargement couvre tous les composants nécessaires au fonctionnement du modèle, comme le générateur, l’encodeur de texte et le décodeur. La mémoire nécessaire correspond au minimum déclaré ou publié lorsqu’il existe ; sinon, il s’agit de la taille du téléchargement plus environ 15 %. Images plus grandes, clips plus longs et résolutions plus élevées demandent davantage.
La licence en langage clair
Une licence permissive et courte rédigée pour les modèles de machine learning par la Linux Foundation et la PyTorch Foundation. Elle couvre ensemble le modèle, ses données, sa documentation et son logiciel, et n'impose aucune restriction à ce que vous faites des sorties du modèle.
En savoir plus sur OpenMDW-1.1
À voir aussi
Questions fréquentes
- Qu’est-ce que Cosmos 3 ?
- Cosmos 3 est une famille de modèles d'IA de NVIDIA qui comprend et simule le monde physique. Vous pouvez lui donner du texte, des images, de la vidéo ou des mouvements de robot, et il peut répondre en mots, dessiner une image, générer une courte vidéo ou prédire ce qu'un robot devrait faire ensuite. Les deux plus grands modèles gèrent aussi le son. Il est conçu pour la recherche en robotique et en conduite autonome, et la licence est permissive.
- Puis-je utiliser Cosmos 3 commercialement ?
- Oui. Cosmos 3 est publié sous OpenMDW-1.1, une licence permissive. Vous pouvez l’utiliser commercialement si vous respectez les conditions standard, comme conserver la mention de licence.
- Cosmos 3 est-il open source ?
- Cosmos 3 est à poids ouverts, pas open source au sens strict. Vous pouvez télécharger les fichiers du modèle, mais la OpenMDW-1.1 ajoute des conditions que la définition de l’Open Source Initiative n’autorise pas.
- Puis-je faire tourner Cosmos 3 sur mon propre ordinateur ?
- Oui. La plus petite variante, Cosmos3-Edge, demande environ 11 GB de mémoire en précision 4 bits, ce qui convient à un ordinateur portable moderne ou à une carte graphique de milieu de gamme.
- Quand Cosmos 3 est-il sorti ?
- Cosmos 3 a été publié par NVIDIA le 31 mai 2026.
Liens officiels
Sources
Les spécifications proviennent de ces sources primaires. Les résultats de référence mentionnés, s’il y en a, sont ceux communiqués par le développeur.
- Cosmos 3 project page (NVIDIA Cosmos Lab) research.nvidia.com
- Cosmos 3 technical report (NVIDIA Research) research.nvidia.com
- Cosmos3-Nano model card (Hugging Face) huggingface.co
- Cosmos3-Edge model card (Hugging Face) huggingface.co
- Cosmos3-Super model card (Hugging Face) huggingface.co
Date de sortie et faits vérifiés pour la dernière fois le 11 novembre 2026.
Modèles associés
| Modèle | Sortie | Paramètres | Contexte | Licence | Mémoire requise (plus petite variante) |
|---|---|---|---|---|---|
| Wan 2.2 EN Alibaba Wan | 5B – 27B 14B actifs | – | Apache 2.0 (Permissive) | 24 GB Carte graphique gaming | |
| LTX-2.5 EN LTX (Lightricks) | 22B | – | LTX-2.x Community (Conditionnelle) | 16 GB Ordinateur portable ou smartphone | |
| MiniMax H3 EN MiniMax | 33.1B | – | MiniMax H3 Community (Conditionnelle) | 166 GB Ordinateur de bureau à grande mémoire | |
| Pika H3 Flex EN Pika | 33.1B | – | MiniMax H3 Community (Conditionnelle) | 169 GB Ordinateur de bureau à grande mémoire |