Kandinsky 6.0 Video
Kandinsky Lab 的 3B 和 29B 模型,生成带同步 44 kHz 音频和口型同步的五秒视频。MIT 许可证。
一句话概括. Kandinsky 6.0 Video 能同时生成短视频和它的声音。你描述一个场景,或者给出第一帧,它就返回五秒的视频和相配的音频,包括口型对得上的语音。Lite 小而快,Pro 更大、画质更好,另有单独的超分模型可以把视频提升到全高清。它按 MIT 许可证免费使用,包括商用。
概述
Kandinsky Lab 于 2026 年 10 月 6 日以 MIT 许可证发布了 Kandinsky 6.0 Video,并附有技术报告 arXiv 2610.05608。它是一个同时生成视频和声音的扩散模型家族。Video Lite 有 30 亿参数,Video Pro 有 290 亿,两者都能根据文字或首帧图像生成 5 秒、24 帧每秒、带同步 44 kHz 音频(包括口型同步)的视频片段。基础片段分辨率不高,示例中为 480 × 864 像素,另有单独的超分模型把它提升到全高清 1920 × 1080。原生流水线还可以从首尾两帧开始生成、用音频文件驱动视频,或者为视频文件生成音频,团队称这些模型原生理解俄语提示词和文化概念。
每个规模都提供运行 50 步的标准检查点、运行 10 步的蒸馏检查点,以及用于微调的预训练检查点。团队称标准检查点经过两阶段微调,再接强化学习。在内部结构上,同一个流匹配 Transformer 同时处理视频和音频,文本编码器是 Qwen2.5-VL(也可以扩写简短提示词),另有一个 CLIP 文本编码器、一个 HunyuanVideo VAE,以及带 BigVGAN 风格声码器的音频 VAE。它支持 Diffusers、ComfyUI、vLLM-Omni、SGLang 和 FastVideo。Diffusers 仓库很大,Pro 约 90 GB,Lite 约 27.8 GB,部分原因是每个仓库都带一个 16.6 GB 的文本编码器。README 自己的计时针对 5 秒、480 × 864、带音频的片段:在 RTX 4090 上,Lite Distill 为 68 秒,Pro Distill 为 235 秒,50 步的 Pro 为 955 秒。16 GB 的 RTX 5060 Ti 用 4 位文本编码器运行 Lite,用分块卸载运行 Pro,蒸馏版分别用时 174 秒和 718 秒。
在四个生成仓库中,只有 Pro 主仓库需要填写简短表单才能访问。团队称,在并排的人工评测中,Video Pro 明显优于 Kandinsky 5.0 Video Pro,并与领先的音视频模型不相上下,在语音质量上尤其如此,这一点我们没有核实。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计四个生成仓库合计约有 3,600 次下载。
适合做什么
- 根据文字提示词或首帧生成带匹配声音和口型同步语音的短视频
- 用 Lite 在一张 16 GB 的 GPU 上做实验,用 10 步的蒸馏检查点节省时间
- 用原生流水线,由音频文件驱动视频,或给视频补上音频
- 想要 MIT 许可权重、Diffusers 支持和可供微调的预训练检查点的研究和产品
需要注意
- 片段限于 5 秒,不加单独的超分模型时基础分辨率较低
- Pro 在消费级显卡上很慢,README 里在 RTX 4090 上生成一段 50 步的片段需要 955 秒,仓库有 80 到 90 GB
- Pro 主仓库需要授权,另外三个则不需要,原生流水线要求使用 NVIDIA GPU
- 团队与其他音视频模型的对比是它自己的,README 的文字里没有给出分数
- 在我们读到的文件里,没有说明训练数据,以及生成的语音和肖像的权利归属
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Kandinsky 6.0 Video 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| Kandinsky 6.0 Video Lite (50 steps) | 3B | 28 GB | 16 GB | 笔记本或手机 |
| Kandinsky 6.0 Video Lite Distill (10 steps) | 3B | 27 GB | 16 GB | 笔记本或手机 |
| Kandinsky 6.0 Video Pro (50 steps) | 29B | 90 GB | 103 GB | 大内存台式机 |
| Kandinsky 6.0 Video Pro Distill (10 steps) | 29B | 81 GB | 93 GB | 工作站 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。 开发方给出的最低显存要求为 16 GB。
许可证,用大白话说
最简短、最宽松的许可证。只要保留版权和许可声明,你几乎可以对模型做任何事。
延伸阅读
常见问题
- Kandinsky 6.0 Video 是什么?
- Kandinsky 6.0 Video 能同时生成短视频和它的声音。你描述一个场景,或者给出第一帧,它就返回五秒的视频和相配的音频,包括口型对得上的语音。Lite 小而快,Pro 更大、画质更好,另有单独的超分模型可以把视频提升到全高清。它按 MIT 许可证免费使用,包括商用。
- Kandinsky 6.0 Video 可以商用吗?
- 可以。Kandinsky 6.0 Video 采用 MIT 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Kandinsky 6.0 Video 是开源的吗?
- Kandinsky 6.0 Video 采用 MIT 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Kandinsky 6.0 Video 吗?
- 可以。最小版本 Kandinsky 6.0 Video Lite (50 steps) 在 4 位精度下约需 16 GB 内存,现代笔记本或中端显卡即可胜任。
- Kandinsky 6.0 Video 是什么时候发布的?
- Kandinsky 6.0 Video 由 Kandinsky Lab 于 2026年10月6日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Kandinsky 6.0 repository: README, updates and timings (GitHub) github.com
- Kandinsky-6.0-Pro-5s-Diffusers model page (Hugging Face) huggingface.co
- Kandinsky Video product page (Kandinsky Lab) kandinskylab.ai
- Kandinsky Lab news, 6 October 2026 release kandinskylab.ai
- Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation (arXiv 2610.05608) arxiv.org
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| LTX-2.5 LTX (Lightricks) | 22B | – | LTX-2.x Community (附条件) | 16 GB 笔记本或手机 | |
| Wan 2.2 Alibaba Wan | 5B – 27B 激活 14B | – | Apache 2.0 (宽松) | 24 GB 游戏显卡 | |
| Cosmos 3 NVIDIA | 3.86B – 64.6B | – | OpenMDW-1.1 (宽松) | 11 GB 笔记本或手机 | |
| MiniMax H3 MiniMax | 33.1B | – | MiniMax H3 Community (附条件) | 166 GB 大内存台式机 |