Текстовый энкодер

В генераторе изображений или видео текстовый энкодер — это отдельная языковая модель, которая превращает ваш промпт в числа, понятные генератору. Она увеличивает объём загрузки и потребление памяти.

  • Модели и архитектура
  • Обновлено

Генератор изображений — обычно конвейер из нескольких частей. Текстовый энкодер читает промпт, диффузионный трансформер создаёт картинку в сжатом пространстве, а автоэнкодер (VAE) превращает результат в пиксели. Текстовый энкодер часто является полноценной языковой моделью, поэтому число параметров модели может приуменьшать то, что вам придётся скачать.

У MOSS-Image генератор на 5B, но репозиторий весит 27,2 ГБ, из которых 16,8 ГБ — это текстовый энкодер Qwen3.5-9B. Генератор 6B у Z-Image идёт с текстовым энкодером на 8 ГБ, энкодер 8B у Qwen-Image-2.1 делает весь конвейер около 33 ГБ, а энкодер на 66,7 ГБ у MiniMax H3-Image почти так же велик, как остальные его файлы. Anima — обратный случай: энкодер на 1,19 ГБ в конвейере на 5,6 ГБ. Планируя память, прибавляйте энкодер к генератору и помните, что многие инструменты умеют выгружать или освобождать его после того, как он прочитал промпт.

Связанные термины

  • Диффузионная модель Диффузионная модель генерирует изображения или видео, стартуя со случайного шума и убирая шум шаг за шагом, пока не проявится картинка.
  • Параметры Параметры — это числа внутри модели, которые настраиваются во время обучения; их количество, например 7B или 70B, — привычная мера размера модели.
  • VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.

Все термины