Cosmos 3
World models abiertos de NVIDIA para robots y conducción: 4B, 16B y 64B, con entrada y salida de texto, imágenes, vídeo y acciones.
En resumen. Cosmos 3 es una familia de modelos de IA de NVIDIA que entienden y simulan el mundo físico. Le puedes dar texto, imágenes, vídeo o movimientos de robot, y puede responder con palabras, dibujar una imagen, generar un vídeo corto o predecir lo que un robot debería hacer después. Los dos modelos más grandes también manejan sonido. Está hecho para investigación en robótica y conducción autónoma, y la licencia es permisiva.
Resumen
NVIDIA llama a Cosmos 3 una familia de world models omnimodales para la IA física, es decir, robots, vehículos autónomos y espacios inteligentes. Un mismo modelo toma como entrada texto, imágenes, vídeo y trayectorias de acciones de robot, más audio en los dos más grandes, y escribe texto, imágenes, vídeo y acciones, además de audio. Cosmos3-Nano, con 16.000 millones de parámetros, y Cosmos3-Super, con 64.000 millones, se publicaron en Hugging Face el 31 de mayo de 2026, y el Cosmos3-Edge de 4B siguió el 20 de julio de 2026 sin audio. El diseño es un Mixture-of-Transformers con dos torres en una red: un transformer autorregresivo que escribe texto y razonamiento, y un transformer de difusión que genera imágenes, vídeo, audio y acciones por eliminación iterativa de ruido.
El generador produce vídeo de 5 a 400 fotogramas a 256p, 480p o 720p, 189 fotogramas por defecto, con audio estéreo de 48 kHz muxado en el MP4, y genera imágenes y secuencias de acciones para embodiments compatibles como movimiento de cámara, coches, vistas egocéntricas, brazos Franka, AgiBot, UR, Google robot, WidowX y UMI. El razonador lee imágenes y vídeo con hasta 256K tokens de contexto y responde en texto con razonamiento, puntos y cajas delimitadoras en 2D y 3D. Los prompts de texto se limitan a 4.096 tokens, y NVIDIA recomienda expandir antes los prompts cortos a una estructura JSON con un LLM. Su script de ejemplo llama a un endpoint de LLM que tú eliges y usa Claude Opus 4.6. NVIDIA también publica checkpoints post-entrenados para imagen a vídeo, texto a imagen, generación en 4 pasos, simulación, transferencia y políticas de robot, que no enumeramos uno por uno.
Solo se prueba oficialmente en BF16, y las fichas dicen que FP8, FP4 y FP16 no cuentan con soporte oficial. Los repositorios pesan unos 9.2 GB para Edge, 35 GB para Nano y 133 GB para Super, y los modelos corren en Linux con GPUs NVIDIA Ampere, Hopper o Blackwell mediante vLLM-Omni, Diffusers, SGLang o PyTorch. Las configuraciones recomendadas por NVIDIA son un H200 para Nano y ocho H200, H100 o A100 para Super, donde un vídeo de 50 pasos tarda unos 55 segundos en H200, o unos 3 minutos con dos. Para Edge, las tablas de NVIDIA muestran un clip de imagen a vídeo de 189 fotogramas a 480p en unos 28 segundos en un H100, 166 segundos en una DGX Spark y 138 segundos en un Jetson AGX Thor con vLLM-Omni.
Los pesos usan la licencia permisiva OpenMDW-1.1, y las fichas dicen que los modelos están listos para uso comercial y no comercial. Las fichas listan 1.300 millones de muestras de entrenamiento de 393 datasets, incluyendo 340 millones de muestras de vídeo de YouTube, 100 millones de imágenes de Coyo-700M, unos 29 millones de imágenes sintéticas hechas con HiDream-I1 y Qwen-Image-2512 y 1.100 millones de captions sintéticas escritas con Qwen3-VL, y dicen que el contenido restringido se filtró. Los resultados de benchmark aparecen en gráficas en las fichas y el informe técnico. NVIDIA dice que Edge entrega el mayor throughput de generación con calidad competitiva en PAIBench, RBench y PhysicsIQ, lo cual es afirmación del desarrollador. En los 30 días hasta el 11 de noviembre de 2026, Hugging Face contó unas 1,31 millones de descargas de Nano, 57.000 de Edge y 43.000 de Super.
Ideal para
- Investigación en robótica y conducción autónoma que necesite un world model para predecir vídeo, acciones o resultados
- Generar vídeos cortos de escenas físicas con audio sincronizado en tu propio hardware NVIDIA
- Razonamiento visual sobre vídeo, con puntos y cajas en la respuesta
- Empezar un fine-tune de política o simulador desde una base con licencia permisiva, usando el Edge de 4B en una sola GPU
A tener en cuenta
- Está hecho para la IA física y llega como máximo a 720p y 400 fotogramas, así que no es una herramienta creativa de vídeo general
- Solo se prueba oficialmente en BF16, y Super necesita unos 133 GB de pesos y ocho GPUs de centro de datos en la configuración recomendada de NVIDIA
- Corre solo en Linux con GPUs NVIDIA
- La mejor calidad necesita un LLM que expanda antes los prompts a una estructura JSON
- La lista de entrenamiento de la ficha incluye grandes conjuntos rastreados como vídeo de YouTube, y OpenMDW no te aclara los derechos de terceros
- Las afirmaciones de benchmark son de NVIDIA
Las afirmaciones de rendimiento provienen del desarrollador y no se han verificado de forma independiente.
¿Cuánta memoria necesita?
Cifras de memoria para cada variante de Cosmos 3. Los flujos de imagen, vídeo, voz y música también cargan un codificador de texto y un decodificador, así que la memoria necesaria puede ser mayor que la del checkpoint principal.
| Variantes | Parámetros | Tamaño de descarga | Memoria necesaria | Cabe en |
|---|---|---|---|---|
| Cosmos3-Edge BF16 | 3.86B | 9.2 GB | 11 GB | Portátil o móvil |
| Cosmos3-Nano BF16 | 15.8B | 35 GB | 40 GB | Estación de trabajo |
| Cosmos3-Super BF16 | 64.6B | 133 GB | 153 GB | PC de escritorio con mucha memoria |
El tamaño de descarga incluye todos los componentes necesarios para ejecutar el modelo, como el generador, el codificador de texto y el decodificador. La memoria necesaria es el mínimo declarado o el mínimo medido publicado cuando existe; en caso contrario, es el tamaño de descarga más un 15 % aproximadamente. Las imágenes más grandes, los clips más largos y las resoluciones más altas necesitan más.
La licencia en palabras sencillas
Una licencia permisiva y breve creada para modelos de aprendizaje automático por la Linux Foundation y la PyTorch Foundation. Cubre en conjunto el modelo, sus datos, su documentación y su software, y no impone restricciones sobre lo que hagas con las salidas del modelo.
Ver también
Preguntas frecuentes
- ¿Qué es Cosmos 3?
- Cosmos 3 es una familia de modelos de IA de NVIDIA que entienden y simulan el mundo físico. Le puedes dar texto, imágenes, vídeo o movimientos de robot, y puede responder con palabras, dibujar una imagen, generar un vídeo corto o predecir lo que un robot debería hacer después. Los dos modelos más grandes también manejan sonido. Está hecho para investigación en robótica y conducción autónoma, y la licencia es permisiva.
- ¿Puedo usar Cosmos 3 comercialmente?
- Sí. Cosmos 3 se publica bajo OpenMDW-1.1, una licencia permisiva. Puedes usarlo comercialmente si cumples las condiciones estándar, como mantener el aviso de licencia.
- ¿Es Cosmos 3 de código abierto?
- Cosmos 3 es de pesos abiertos, no de código abierto en sentido estricto. Puedes descargar los archivos del modelo, pero la licencia OpenMDW-1.1 añade condiciones que la definición de la Open Source Initiative no permite.
- ¿Puedo ejecutar Cosmos 3 en mi propio equipo?
- Sí. La variante más pequeña, Cosmos3-Edge, necesita unos 11 GB de memoria con precisión de 4 bits, lo que cabe en un portátil moderno o en una tarjeta gráfica de gama media.
- ¿Cuándo se lanzó Cosmos 3?
- Cosmos 3 fue lanzado por NVIDIA el 31 de mayo de 2026.
Enlaces oficiales
Fuentes
Las especificaciones provienen de estas fuentes primarias. Las afirmaciones sobre benchmarks, cuando se mencionan, son las que reporta el desarrollador.
- Cosmos 3 project page (NVIDIA Cosmos Lab) research.nvidia.com
- Cosmos 3 technical report (NVIDIA Research) research.nvidia.com
- Cosmos3-Nano model card (Hugging Face) huggingface.co
- Cosmos3-Edge model card (Hugging Face) huggingface.co
- Cosmos3-Super model card (Hugging Face) huggingface.co
Fecha de lanzamiento y datos verificados por última vez: 11 de noviembre de 2026.
Modelos relacionados
| Modelo | Lanzamiento | Parámetros | Contexto | Licencia | Necesario para la variante más pequeña |
|---|---|---|---|---|---|
| Wan 2.2 EN Alibaba Wan | 5B – 27B 14B activos | – | Apache 2.0 (Permisiva) | 24 GB GPU para juegos | |
| LTX-2.5 EN LTX (Lightricks) | 22B | – | LTX-2.x Community (Condicional) | 16 GB Portátil o móvil | |
| MiniMax H3 EN MiniMax | 33.1B | – | MiniMax H3 Community (Condicional) | 166 GB PC de escritorio con mucha memoria | |
| Pika H3 Flex EN Pika | 33.1B | – | MiniMax H3 Community (Condicional) | 169 GB PC de escritorio con mucha memoria |