DiffSynth-Studio

ModelScope 커뮤니티의 오픈소스 확산 모델 엔진. 무난한 GPU에서 이미지·비디오·오디오 모델을 실행하고 학습합니다.

  • 라이브러리
  • Apache 2.0 · 오픈소스
  • 검증

DiffSynth-Studio는 ModelScope 커뮤니티 팀이 개발하고 유지하는 오픈소스 확산 모델 엔진입니다. 이미지·비디오·오디오 생성의 주류 오픈 확산 모델과 이미지 품질 평가 모델을 통합합니다. README가 강조하는 네 가지 기능: 디스크·메모리·VRAM 사이에서 파라미터를 옮겨 적은 VRAM의 소비자 GPU도 큰 모델을 돌릴 수 있는 VRAM 관리, NF4와 INT8 같은 정밀도로의 양자화, LoRA와 어댑터를 포함해 추론이 가능한 거의 모든 모델의 학습 지원, 그리고 학습을 두 단계로 나누는 분할 학습 모드입니다.

새 모델 추가가 빠릅니다. 뉴스에 따르면 2026년 10월 16일 FLUX.3 Image Klein, 10월 20일 MOSS-Image, 10월 21일 FIBO 2.0, 11월 10일 MiniMax-H3-Image를 지원했고, 모두 추론과 학습을 갖추고 상당수는 저 VRAM 추론도 지원합니다. 또한 양자화 백엔드 역할을 하는 PyTorch 텐서 압축 라이브러리 EntroPack을 공개했으며, README는 3.5비트 MOSS-Image 빌드가 4 GB VRAM으로도 실행될 수 있다고 말합니다.

라이선스는 Apache 2.0이며, 소스에서 설치하거나 pip으로 PyPI에서 설치할 수 있습니다. 설치 가이드에 따르면 NVIDIA GPU, ROCm을 통한 AMD GPU, Ascend NPU를 지원합니다. 모델은 기본적으로 ModelScope에서 내려받으며, 환경 변수로 ModelScope 국제 사이트나 Hugging Face로 전환할 수 있습니다. 앱이 아니라 코드이지만, 같은 팀이 이를 기반으로 한 ComfyUI 노드 패키지와 가벼운 LoRA 학습 도구도 공개하고 있습니다.

적합한 용도

  • VRAM이 부족한 GPU에서 큰 이미지·비디오 확산 모델 실행
  • 다양한 최신 오픈 이미지·비디오 모델을 위한 LoRA 또는 전체 모델 학습
  • 클릭식 앱이 아닌 코드 수준의 엔진을 원하는 연구자와 개발자

주의할 점

  • README에 따르면 팀 규모가 작아 새 기능과 이슈 답변이 느릴 수 있음
  • 모델 다운로드는 기본값이 ModelScope이며, ModelScope와 Hugging Face의 모델 ID는 다를 수 있음
  • 메이저 버전 업데이트에서 일부 구 기능이 제거되어, 오래된 튜토리얼이 현재 코드와 맞지 않을 수 있음

링크