vLLM-Omni
vLLM 项目推出的服务框架,面向不止处理文本的模型:语音、图像、视频和动作模型。
vLLM-Omni 把 vLLM 从文本生成扩展到全模态模型。README 称它能处理文本、图像、音频、视频和动作数据,并且在 vLLM 已经支持的自回归模型之外,增加了对扩散 Transformer 和其他非自回归模型的支持。它复用 vLLM 的 KV 缓存管理,让流水线各阶段重叠执行以提高吞吐,可以把各阶段拆到不同的硬件上,并提供带流式输出的兼容 OpenAI 的 API 服务器。它还提供全双工实时服务,音频可以同时流入和流出。
它的支持模型列表涵盖 Qwen3-Omni、MiniCPM-o 4.5 这样的全模态模型,包括 Qwen3-TTS、Tencent AuK、Breeze-TTS-2 和 CosyVoice3 在内的文本转语音模型,MiniMax H3、LTX-2.5 和 Wan2.2 等图像、视频和音频生成模型,以及机器人策略模型。2026 年 10 月跟随 vLLM 0.32.0 发布的 0.32.0 版增加了可选的基于 Ray 的多节点推理,并新增对 YuE2-3B、Qwen-Image-2.1、Kandinsky 6 和 MOSS-Image 等模型的支持。并行方式包括张量、流水线、数据和专家并行。
根据它的安装页面,它支持 NVIDIA CUDA、AMD ROCm、Intel XPU 和摩尔线程 MUSA GPU 以及 NPU,项目还提供每夜构建的 CUDA Docker 镜像、部署食谱,并在 arXiv 上发布了技术报告。它是给要为他人部署模型的人用的服务端工具。如果只是在自己的电脑上生成一张图或一段语音,ComfyUI 之类的运行器或模型自带的脚本会更简单。
适合做什么
- 通过兼容 OpenAI 的 API 提供文本转语音、语音和全模态模型的服务
- 在 GPU 服务器上以 vLLM 式的批处理方式运行图像和视频扩散模型
- 需要音频双向流式传输的实时语音应用
- 已经在用 vLLM、想用同一个运行时承载多种模型的团队
需要注意
- 它的版本号跟随 vLLM,请固定匹配的版本,并阅读发布说明里的兼容性变化
- 不同模型的支持程度不同,规划部署之前请查看支持模型列表和该模型的部署食谱
- 安装默认你熟悉 Docker、Python 环境和 GPU 驱动