扩散模型
扩散模型从随机噪声出发,一步一步去除噪声,最终生成图像或视频。
大多数开放的图像和视频生成模型,包括 FLUX、Qwen-Image、Wan 和 LTX,都是扩散模型,常常基于 Transformer 架构构建。文本编码器把你的提示词转换成数字,用来引导每一步去噪。
蒸馏版本经过训练,只需要更少的步数。例如 FLUX 3 Image Klein 只需 16 步,而它的 Base 版本需要 50 步,用于微调。步数越少,出图越快,通常会略微牺牲一些灵活性。
相关术语
- 多模态模型 多模态模型能处理不止一种类型的数据,例如文本、图像、音频或视频,可以作为输入、输出,或两者兼有。
- 蒸馏 蒸馏是训练一个较小的“学生”模型去模仿较大的“教师”模型,用很小的体积保留教师的大部分能力。
- LoRA(低秩适配) LoRA 是低秩适配的简称,它通过训练一小组新增的权重来微调模型,而不是改动模型的全部参数。