텍스트 인코더(Text encoder)

이미지나 비디오 생성 모델에서 텍스트 인코더는 프롬프트를 생성기가 사용할 수 있는 숫자로 바꾸는 별도의 언어 모델로, 다운로드 용량과 메모리 사용량을 늘립니다.

  • 모델과 아키텍처
  • 업데이트

이미지 생성기는 보통 여러 부품으로 이루어진 파이프라인입니다. 텍스트 인코더가 프롬프트를 읽고, 확산 트랜스포머가 압축된 공간에서 그림을 만들고, 오토인코더(VAE)가 결과를 픽셀로 바꿉니다. 텍스트 인코더는 흔히 완전한 언어 모델이므로, 모델의 파라미터 수가 다운로드해야 할 것을 실제보다 작게 보여줄 수 있습니다.

MOSS-Image의 생성기는 5B이지만 저장소는 27.2 GB이고, 그중 16.8 GB는 Qwen3.5-9B 텍스트 인코더입니다. Z-Image의 6B 생성기에는 8 GB 텍스트 인코더가 딸리고, Qwen-Image-2.1의 8B 인코더 때문에 전체 파이프라인은 약 33 GB이며, MiniMax H3-Image의 66.7 GB 인코더는 나머지 파일 전체와 맞먹는 크기입니다. Anima는 반대 사례로, 5.6 GB 파이프라인 안에 1.19 GB 인코더가 있습니다. 메모리를 계획할 때는 인코더를 생성기에 더하고, 많은 도구가 인코더가 프롬프트를 읽은 뒤 이를 오프로드하거나 내릴 수 있다는 점도 기억하세요.

관련 용어

  • 확산 모델 확산 모델은 무작위 노이즈에서 출발해 노이즈를 한 단계씩 제거하며 이미지나 영상을 만들어 냅니다.
  • 파라미터 파라미터는 모델 내부에서 학습 중에 조정되는 숫자이며, 그 개수(7B, 70B 등)가 모델 크기의 일반적인 척도입니다.
  • VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.

전체 용어