SGLang
面向语言、视觉和扩散模型的高速开源服务框架,针对智能体和大规模部署做了优化。
SGLang 是用于大语言模型、视觉语言模型和扩散模型的推理框架。其维护者称,它针对智能体工作负载、大规模服务和强化学习 rollout 做了优化。它包含 SGLang Diffusion,这是一个内置的图像和视频生成引擎,与同一个 Python 包一起发布。
它常被用作 vLLM 的替代选择,许多新的开放模型,例如 FLUX 3 Image Klein,都把它列为首日支持的运行时之一。它的文档提供了一份“食谱”,你选好模型和硬件就能得到一条可直接运行的启动命令,这对大型混合专家模型特别有帮助。
支持的硬件很广:从 RTX 显卡到 B200、GB300 的 NVIDIA GPU,AMD Instinct,Google TPU,Intel GPU 和至强 CPU,华为昇腾 NPU,摩尔线程 GPU,以及通过 Metal 和 MLX 运行的 Apple 芯片 Mac。你可以用 Docker 镜像运行,也可以用 uv 安装。和 vLLM 一样,它是给要为他人部署模型的人用的,而不是第一次本地尝试的工具。
适合做什么
- 为许多用户提供大型混合专家模型的服务
- 会重复使用长提示词的智能体和工具调用负载
- 用服务器端引擎生成图像和视频
- 想在 vLLM 之外多一个选择的团队
需要注意
- 安装默认你熟悉 Docker、Python 环境和 GPU 驱动
- 启动参数取决于模型和硬件,请遵循模型卡和食谱
- 它迭代很快,生产环境请固定版本