SGLang

面向语言、视觉和扩散模型的高速开源服务框架,针对智能体和大规模部署做了优化。

  • 规模化部署
  • Apache 2.0 · 开源
  • Linux, macOS
  • 核实于

SGLang 是用于大语言模型、视觉语言模型和扩散模型的推理框架。其维护者称,它针对智能体工作负载、大规模服务和强化学习 rollout 做了优化。它包含 SGLang Diffusion,这是一个内置的图像和视频生成引擎,与同一个 Python 包一起发布。

它常被用作 vLLM 的替代选择,许多新的开放模型,例如 FLUX 3 Image Klein,都把它列为首日支持的运行时之一。它的文档提供了一份“食谱”,你选好模型和硬件就能得到一条可直接运行的启动命令,这对大型混合专家模型特别有帮助。

支持的硬件很广:从 RTX 显卡到 B200、GB300 的 NVIDIA GPU,AMD Instinct,Google TPU,Intel GPU 和至强 CPU,华为昇腾 NPU,摩尔线程 GPU,以及通过 Metal 和 MLX 运行的 Apple 芯片 Mac。你可以用 Docker 镜像运行,也可以用 uv 安装。和 vLLM 一样,它是给要为他人部署模型的人用的,而不是第一次本地尝试的工具。

适合做什么

  • 为许多用户提供大型混合专家模型的服务
  • 会重复使用长提示词的智能体和工具调用负载
  • 用服务器端引擎生成图像和视频
  • 想在 vLLM 之外多一个选择的团队

需要注意

  • 安装默认你熟悉 Docker、Python 环境和 GPU 驱动
  • 启动参数取决于模型和硬件,请遵循模型卡和食谱
  • 它迭代很快,生产环境请固定版本

链接