Cosmos 3

NVIDIAs offene Weltmodelle für Roboter und autonomes Fahren, in 4B, 16B und 64B, die Text, Bilder, Video und Aktionen lesen und schreiben.

Kurz gesagt. Cosmos 3 ist eine Familie von KI-Modellen von NVIDIA, die die physische Welt verstehen und simulieren. Man kann Text, Bilder, Video oder Roboterbewegungen eingeben, und es antwortet in Worten, zeichnet ein Bild, erzeugt ein kurzes Video oder sagt voraus, was ein Roboter als Nächstes tun sollte. Die zwei größeren Modelle verarbeiten auch Klang. Es ist für Forschung zu Robotik und autonomem Fahren gebaut, und die Lizenz ist permissiv.

Zusammenfassung

NVIDIA nennt Cosmos 3 eine Familie omnimodaler Weltmodelle für Physical AI, also Roboter, autonom fahrende Fahrzeuge und intelligente Räume. Ein einziges Modell nimmt Text, Bilder, Video und Roboter-Aktionstrajektorien als Eingabe, bei den zwei größeren zusätzlich Audio, und schreibt Text, Bilder, Video und Aktionen, plus Audio. Das 16-Milliarden-Parameter-Cosmos3-Nano und das 64-Milliarden-Parameter-Cosmos3-Super erschienen am 31. Mai 2026 auf Hugging Face, das 4B-Cosmos3-Edge folgte am 20. Juli 2026 ohne Audio. Das Design ist ein Mixture-of-Transformers mit zwei Türmen in einem Netzwerk: ein autoregressiver Transformer, der Text und Reasoning schreibt, und ein Diffusions-Transformer, der Bilder, Video, Audio und Aktionen durch iteratives Denoising erzeugt.

Der Generator macht Video mit 5 bis 400 Frames in 256p, 480p oder 720p, standardmäßig 189 Frames, mit 48-kHz-Stereoaudio, das in die MP4 gemuxt wird, und erzeugt Bilder und Aktionssequenzen für unterstützte Embodiments wie Kamerabewegung, Autos, egozentrische Ansichten, Franka-Arme, AgiBot, UR, Google robot, WidowX und UMI. Der Reasoner liest Bilder und Video mit bis zu 256K Tokens Kontext und antwortet in Text mit Reasoning, 2D- und 3D-Punkten und Bounding Boxes. Text-Prompts sind auf 4.096 Tokens begrenzt, und NVIDIA empfiehlt, kurze Prompts zuerst mit einem LLM zu einer JSON-Struktur auszuweiten. Sein Beispielskript ruft einen LLM-Endpunkt Ihrer Wahl auf und verwendet Claude Opus 4.6. NVIDIA veröffentlicht auch post-trainierte Checkpoints für Bild-zu-Video, Text-zu-Bild, 4-Schritt-Generierung, Simulation, Transfer und Roboter-Policies, die wir nicht einzeln auflisten.

Offiziell getestet ist nur BF16, und die Karten sagen, FP8, FP4 und FP16 seien nicht offiziell unterstützt. Die Repositories sind etwa 9.2 GB für Edge, 35 GB für Nano und 133 GB für Super groß, und die Modelle laufen auf Linux mit NVIDIA-Ampere-, Hopper- oder Blackwell-GPUs über vLLM-Omni, Diffusers, SGLang oder PyTorch. NVIDIAs empfohlene Setups sind ein H200 für Nano und acht H200, H100 oder A100 für Super, wobei ein 50-Schritt-Video auf H200s etwa 55 Sekunden dauert, auf zwei etwa 3 Minuten. Für Edge zeigen NVIDIAs Tabellen einen 189-Frame-480p-Bild-zu-Video-Clip in etwa 28 Sekunden auf einem H100, 166 Sekunden auf einer DGX Spark und 138 Sekunden auf einem Jetson AGX Thor mit vLLM-Omni.

Die Gewichte nutzen die permissive OpenMDW-1.1-Lizenz, und die Karten sagen, die Modelle seien für kommerzielle und nicht-kommerzielle Nutzung bereit. Die Karten listen 1,3 Milliarden Trainingssamples aus 393 Datensätzen auf, darunter 340 Millionen YouTube-Videosamples, 100 Millionen Coyo-700M-Bilder, rund 29 Millionen mit HiDream-I1 und Qwen-Image-2512 erzeugte synthetische Bilder und 1,1 Milliarden mit Qwen3-VL geschriebene synthetische Captions, und sagen, eingeschränkte Inhalte seien gefiltert worden. Benchmark-Ergebnisse erscheinen als Diagramme in den Karten und im technischen Bericht. NVIDIA sagt, Edge biete den höchsten Generierungsdurchsatz mit konkurrenzfähiger Qualität auf PAIBench, RBench und PhysicsIQ, was die Behauptung des Entwicklers ist. In den 30 Tagen bis zum 11. November 2026 zählte Hugging Face rund 1,31 Millionen Downloads von Nano, 57.000 von Edge und 43.000 von Super.

Geeignet für

  • Robotik- und autonomes-Fahren-Forschung, die ein Weltmodell braucht, um Video, Aktionen oder Ergebnisse vorherzusagen
  • Kurze Videos physischer Szenen mit synchronisiertem Audio auf der eigenen NVIDIA-Hardware erzeugen
  • Visuelles Reasoning über Video, mit Punkten und Boxen in der Antwort
  • Policy- oder Simulator-Finetuning auf einer permissiv lizenzierten Basis starten, mit dem 4B-Edge auf einer einzelnen GPU

Darauf achten

  • Es ist für Physical AI gebaut und schafft maximal 720p und 400 Frames, kein universelles kreatives Videotool
  • Offiziell getestet ist nur BF16, und Super braucht rund 133 GB an Gewichten und in NVIDIAs empfohlenem Setup acht Rechenzentrum-GPUs
  • Es läuft nur auf Linux mit NVIDIA-GPUs
  • Beste Qualität braucht zuerst ein LLM, das Prompts zu einer JSON-Struktur ausweitet
  • Die Trainingsliste der Karte enthält große gescrapte Datensätze wie YouTube-Video, und OpenMDW klärt Rechte Dritter nicht für Sie
  • Die Benchmark-Behauptungen stammen von NVIDIA

Leistungsangaben stammen vom Entwickler und wurden nicht unabhängig überprüft.

Wie viel Speicher braucht es?

Speicherwerte für jede Variante von Cosmos 3. Bild-, Video-, Sprach- und Musik-Pipelines laden zusätzlich einen Text-Encoder und einen Decoder, daher kann der benötigte Speicher größer sein als das Haupt-Checkpoint.

Varianten Parameter Downloadgröße Benötigter Speicher Passt auf
Cosmos3-Edge BF16 3.86B 9.2 GB 11 GB Laptop oder Smartphone
Cosmos3-Nano BF16 15.8B 35 GB 40 GB Workstation
Cosmos3-Super BF16 64.6B 133 GB 153 GB Desktop mit viel Arbeitsspeicher

Die Downloadgröße umfasst jede Komponente, die zum Ausführen des Modells nötig ist, etwa Generator, Text-Encoder und Decoder. Der benötigte Speicher ist ein angegebener oder veröffentlichter gemessener Mindestwert, falls vorhanden; andernfalls die Downloadgröße plus rund 15 %. Größere Bilder, längere Clips und höhere Auflösungen brauchen mehr.

Die Lizenz, einfach erklärt

Eine kurze, permissive Lizenz, verfasst von der Linux Foundation und der PyTorch Foundation für Machine-Learning-Modelle. Sie umfasst Modell, Daten, Dokumentation und Software gemeinsam und schränkt nicht ein, was Sie mit den Ausgaben des Modells tun.

Mehr über OpenMDW-1.1

Siehe auch

Häufige Fragen

Was ist Cosmos 3?
Cosmos 3 ist eine Familie von KI-Modellen von NVIDIA, die die physische Welt verstehen und simulieren. Man kann Text, Bilder, Video oder Roboterbewegungen eingeben, und es antwortet in Worten, zeichnet ein Bild, erzeugt ein kurzes Video oder sagt voraus, was ein Roboter als Nächstes tun sollte. Die zwei größeren Modelle verarbeiten auch Klang. Es ist für Forschung zu Robotik und autonomem Fahren gebaut, und die Lizenz ist permissiv.
Darf ich Cosmos 3 kommerziell nutzen?
Ja. Cosmos 3 erscheint unter OpenMDW-1.1, einer permissiven Lizenz. Sie dürfen es kommerziell nutzen, wenn Sie die üblichen Bedingungen einhalten, etwa den Lizenzhinweis beibehalten.
Ist Cosmos 3 Open Source?
Cosmos 3 hat offene Gewichte, ist aber nicht im strengen Sinne Open Source. Sie können die Modelldateien herunterladen, aber die OpenMDW-1.1 enthält Bedingungen, die die Definition der Open Source Initiative nicht zulässt.
Kann ich Cosmos 3 auf meinem eigenen Computer ausführen?
Ja. Die kleinste Variante, Cosmos3-Edge, benötigt mit 4-Bit-Präzision etwa 11 GB Speicher, was auf einen modernen Laptop oder eine Mittelklasse-Grafikkarte passt.
Wann wurde Cosmos 3 veröffentlicht?
Cosmos 3 wurde von NVIDIA am 31. Mai 2026 veröffentlicht.

Offizielle Links

Quellen

Die Spezifikationen stammen aus diesen Primärquellen. Benchmark-Angaben werden, wo erwähnt, vom Entwickler gemeldet.

Erscheinungsdatum und Fakten zuletzt geprüft: 11. November 2026.

Verwandte Modelle

Modell Erscheinungsdatum Parameter Kontext Lizenz Bedarf der kleinsten Variante
Wan 2.2 EN Alibaba Wan 5B – 27B 14B aktiv – Apache 2.0 (Permissiv) 24 GB Gaming-GPU
LTX-2.5 EN LTX (Lightricks) 22B – LTX-2.x Community (Bedingt) 16 GB Laptop oder Smartphone
MiniMax H3 EN MiniMax 33.1B – MiniMax H3 Community (Bedingt) 166 GB Desktop mit viel Arbeitsspeicher
Pika H3 Flex EN Pika 33.1B – MiniMax H3 Community (Bedingt) 169 GB Desktop mit viel Arbeitsspeicher