확산 모델

확산 모델은 무작위 노이즈에서 출발해 노이즈를 한 단계씩 제거하며 이미지나 영상을 만들어 냅니다.

  • 모델과 아키텍처
  • 업데이트

FLUX, Qwen-Image, Wan, LTX를 비롯한 대부분의 오픈 이미지·영상 생성 모델은 확산 모델이며, 흔히 트랜스포머 아키텍처를 기반으로 구축됩니다. 텍스트 인코더가 프롬프트를 숫자로 바꾸어 각 디노이징 단계를 이끕니다.

증류 버전은 더 적은 단계로 되도록 학습되어 있습니다. 예를 들어 FLUX 3 Image Klein은 16단계로 돌고, Base 버전은 50단계를 거치며 파인튜닝용입니다. 단계가 적을수록 이미지가 빨리 나오지만, 보통 약간의 유연성을 희생합니다.

관련 용어

  • 멀티모달 모델 멀티모달 모델은 텍스트, 이미지, 오디오, 비디오처럼 한 가지 이상의 데이터 유형을 입력, 출력 또는 그 둘 모두로 처리할 수 있습니다.
  • 증류(Distillation) 증류는 더 작은 '학생' 모델이 더 큰 '교사' 모델을 모방하도록 학습시키는 방법으로, 크기는 훨씬 작으면서도 교사 모델의 능력 대부분을 유지합니다.
  • LoRA(저랭크 적응) LoRA는 저랭크 적응(Low-Rank Adaptation)의 줄임말로, 모델의 모든 파라미터를 바꾸는 대신 소수의 추가 가중치를 학습시켜 파인튜닝합니다.

전체 용어