Cosmos 3
NVIDIA의 로봇·자율주행용 오픈 월드 모델. 4B, 16B, 64B 세 가지 크기로 텍스트, 이미지, 영상, 동작을 읽고 씁니다.
간단 요약. Cosmos 3은 NVIDIA의 AI 모델군으로, 물리 세계를 이해하고 시뮬레이션합니다. 텍스트, 그림, 영상, 로봇 동작을 입력으로 주면, 말로 답하거나 이미지를 그리거나 짧은 영상을 만들거나 로봇이 다음에 할 일을 예측할 수 있습니다. 두 큰 모델은 소리도 다룹니다. 로봇 공학과 자율주행 연구를 위해 만들어졌고 라이선스는 관대합니다.
요약
NVIDIA는 Cosmos 3를 물리 AI를 위한 옴니모달 월드 모델 군이라 부릅니다. 물리 AI란 로봇, 자율주행차, 스마트 공간을 뜻합니다. 하나의 모델이 텍스트, 이미지, 영상, 로봇 동작 궤적을 입력으로 받고(두 큰 모델은 오디오도), 텍스트, 이미지, 영상, 동작, 오디오를 출력합니다. 160억 파라미터의 Cosmos3-Nano와 640억 파라미터의 Cosmos3-Super는 2026년 5월 31일 Hugging Face에 공개되었고, 4B의 Cosmos3-Edge가 2026년 7월 20일 오디오 없이 뒤따랐습니다. 설계는 Mixture-of-Transformers로, 한 네트워크에 두 개의 탑이 있습니다. 텍스트와 추론을 쓰는 자기회귀 Transformer와, 반복 디노이징으로 이미지·영상·오디오·동작을 생성하는 확산 Transformer입니다.
생성기는 256p, 480p, 720p의 5~400프레임 영상(기본 189프레임)을 만들고, 48kHz 스테레오 오디오를 MP4에 함께 담습니다. 카메라 움직임, 자동차, 자기 시점, Franka 로봇팔, AgiBot, UR, Google robot, WidowX, UMI 같은 지원되는 embodiment(구현체)에 대해 이미지와 동작 시퀀스도 만듭니다. 추론기는 최대 256K 토큰 컨텍스트로 이미지와 영상을 읽고, 추론, 2D·3D 점, 경계 상자를 담은 텍스트로 답합니다. 텍스트 프롬프트는 4,096 토큰으로 제한되며, NVIDIA는 짧은 프롬프트를 먼저 LLM으로 JSON 구조로 확장하라고 권합니다. 예시 스크립트는 사용자가 고른 LLM 엔드포인트를 호출하며 예시는 Claude Opus 4.6을 씁니다. NVIDIA는 또한 이미지→영상, 텍스트→이미지, 4단계 생성, 시뮬레이션, 전이, 로봇 정책용으로 사후 학습된 체크포인트들도 공개하지만, 우리는 하나하나 나열하지 않습니다.
공식 테스트는 BF16만 이루어졌고, 카드는 FP8, FP4, FP16을 공식 지원 대상이 아니라고 말합니다. 저장소는 Edge 약 9.2GB, Nano 35GB, Super 133GB이며, 모델은 NVIDIA Ampere, Hopper 또는 Blackwell GPU를 갖춘 Linux에서 vLLM-Omni, Diffusers, SGLang, PyTorch로 실행됩니다. NVIDIA의 권장 구성은 Nano에 H200 한 장, Super에 H200·H100·A100 여덟 장이고, Super의 50스텝 영상은 H200에서 약 55초, 두 장에서는 약 3분 걸립니다. Edge는 NVIDIA 표 기준 189프레임 480p 이미지→영상 생성이 vLLM-Omni로 H100에서 약 28초, DGX Spark에서 166초, Jetson AGX Thor에서 138초입니다.
가중치는 관대한 OpenMDW-1.1 라이선스를 사용하며, 카드는 상업적·비상업적 사용 모두 준비되어 있다고 말합니다. 카드는 393개 데이터셋의 13억 학습 샘플을 나열합니다. 3.4억 개의 YouTube 영상 샘플, 1억 장의 Coyo-700M 이미지, HiDream-I1과 Qwen-Image-2512로 만든 약 2,900만 장의 합성 이미지, Qwen3-VL로 쓴 11억 개의 합성 캡션이며, 제한 콘텐츠는 걸러졌다고 합니다. 벤치마크 결과는 카드와 기술 보고서의 그래프로 나옵니다. NVIDIA는 Edge가 가장 높은 생성 처리량을 내며 PAIBench, RBench, PhysicsIQ에서 경쟁력 있는 품질을 보인다고 말하는데, 이는 개발자 주장입니다. 2026년 11월 11일까지 30일간 Hugging Face는 Nano 약 131만 회, Edge 5.7만 회, Super 4.3만 회의 다운로드를 집계했습니다.
적합한 용도
- 영상, 동작, 결과를 예측할 월드 모델이 필요한 로봇 공학과 자율주행 연구
- 자기 NVIDIA 하드웨어에서 동기화된 오디오가 붙은 물리 장면 짧은 영상 생성
- 영상 위의 시각 추론. 답에 점과 경계 상자가 포함됩니다
- 관대한 라이선스의 베이스에서 정책이나 시뮬레이터 파인튜닝 시작. 4B Edge는 GPU 한 장으로 충분
주의할 점
- 물리 AI를 위해 만들어졌고 720p와 400프레임이 한계라, 범용 창작 영상 도구가 아닙니다
- 공식 테스트는 BF16뿐이며, Super는 약 133GB의 가중치에 NVIDIA 권장 구성 기준 데이터센터 GPU 여덟 장이 필요합니다
- Linux와 NVIDIA GPU에서만 실행됩니다
- 최고 품질에는 먼저 LLM으로 프롬프트를 JSON 구조로 확장해야 합니다
- 카드의 학습 목록에는 YouTube 영상 같은 대규모 스크레이핑 데이터셋이 들어 있고, OpenMDW는 제3자 권리를 대신 정리해 주지 않습니다
- 벤치마크 주장은 NVIDIA의 자체 것입니다
성능 주장은 개발사가 제공한 것이며 독립적으로 검증되지 않았습니다.
메모리가 얼마나 필요할까?
Cosmos 3의 각 버전별 메모리 수치입니다. 이미지, 영상, 음성, 음악 파이프라인은 텍스트 인코더와 디코더도 함께 불러오기 때문에 필요한 메모리가 메인 체크포인트보다 커질 수 있습니다.
| 버전 | 파라미터 | 다운로드 크기 | 필요 메모리 | 실행 가능 하드웨어 |
|---|---|---|---|---|
| Cosmos3-Edge BF16 | 3.86B | 9.2 GB | 11 GB | 노트북 또는 휴대폰 |
| Cosmos3-Nano BF16 | 15.8B | 35 GB | 40 GB | 워크스테이션 |
| Cosmos3-Super BF16 | 64.6B | 133 GB | 153 GB | 대용량 메모리 데스크톱 |
다운로드 크기는 생성기, 텍스트 인코더, 디코더 등 모델 실행에 필요한 모든 구성 요소를 포함합니다. 필요 메모리는 개발사가 밝히거나 공개된 실측 최솟값이 있으면 그 값을, 없으면 다운로드 크기에 약 15%를 더해 추정합니다. 더 큰 이미지, 더 긴 클립, 더 높은 해상도는 더 많은 메모리를 필요로 합니다.
라이선스, 쉬운 말로 설명
Linux Foundation과 PyTorch Foundation이 머신러닝 모델을 위해 만든 짧은 퍼미시브 라이선스입니다. 모델과 그 데이터, 문서, 소프트웨어를 하나의 묶음으로 다루며, 모델 출력의 활용에는 어떤 제한도 두지 않습니다.
함께 보기
자주 묻는 질문
- Cosmos 3(이)란 무엇인가요?
- Cosmos 3은 NVIDIA의 AI 모델군으로, 물리 세계를 이해하고 시뮬레이션합니다. 텍스트, 그림, 영상, 로봇 동작을 입력으로 주면, 말로 답하거나 이미지를 그리거나 짧은 영상을 만들거나 로봇이 다음에 할 일을 예측할 수 있습니다. 두 큰 모델은 소리도 다룹니다. 로봇 공학과 자율주행 연구를 위해 만들어졌고 라이선스는 관대합니다.
- Cosmos 3을(를) 상업적으로 사용할 수 있나요?
- 네. Cosmos 3은(는) 허용적 라이선스인 OpenMDW-1.1로 배포되었습니다. 라이선스 문구 표기 같은 표준 조건만 지키면 상업적으로 사용할 수 있습니다.
- Cosmos 3은(는) 오픈소스인가요?
- Cosmos 3은(는) 오픈 웨이트 모델이지 엄밀한 의미의 오픈소스가 아닙니다. 모델 파일은 내려받을 수 있지만, OpenMDW-1.1에는 오픈소스 이니셔티브의 정의가 허용하지 않는 조건이 있습니다.
- Cosmos 3을(를) 내 컴퓨터에서 실행할 수 있나요?
- 네. 최소 버전 Cosmos3-Edge 기준 4비트 정밀도에서 메모리가 약 11 GB 필요하며, 최신 노트북이나 중급 그래픽 카드에서 충분히 돌아갑니다.
- Cosmos 3은(는) 언제 출시되었나요?
- Cosmos 3은(는) NVIDIA에서 2026년 5월 31일에 출시되었습니다.
공식 링크
출처
규격 정보는 아래 1차 자료에서 가져왔습니다. 언급된 벤치마크 수치는 개발사가 발표한 것입니다.
- Cosmos 3 project page (NVIDIA Cosmos Lab) research.nvidia.com
- Cosmos 3 technical report (NVIDIA Research) research.nvidia.com
- Cosmos3-Nano model card (Hugging Face) huggingface.co
- Cosmos3-Edge model card (Hugging Face) huggingface.co
- Cosmos3-Super model card (Hugging Face) huggingface.co
출시일 등 정보는 2026년 11월 11일에 마지막으로 확인했습니다.
관련 모델
| 모델 | 출시일 | 파라미터 | 컨텍스트 | 라이선스 | 최소 버전 필요 메모리 |
|---|---|---|---|---|---|
| Wan 2.2 EN Alibaba Wan | 5B – 27B 활성 14B | – | Apache 2.0 (허용적) | 24 GB 게이밍 GPU | |
| LTX-2.5 EN LTX (Lightricks) | 22B | – | LTX-2.x Community (조건부) | 16 GB 노트북 또는 휴대폰 | |
| MiniMax H3 EN MiniMax | 33.1B | – | MiniMax H3 Community (조건부) | 166 GB 대용량 메모리 데스크톱 | |
| Pika H3 Flex EN Pika | 33.1B | – | MiniMax H3 Community (조건부) | 169 GB 대용량 메모리 데스크톱 |