vLLM

使用最广泛的开源大规模语言模型服务引擎,以 PagedAttention 和连续批处理实现高吞吐,并提供兼容 OpenAI 的 API。

  • 规模化部署
  • Apache 2.0 · 开源
  • Linux
  • 核实于

vLLM 是一款追求吞吐量的推理和服务引擎。它起源于加州大学伯克利分校的 Sky Computing Lab,现在由一个庞大的社区维护。它的标志性设计是 PagedAttention,高效管理注意力键值缓存所占用的内存,再配合对请求的连续批处理、分块预填充和前缀缓存。这些技术合在一起,让一台 GPU 服务器能够同时回答大量用户。

它支持多种量化格式,包括 FP8、MXFP4、NVFP4、INT8、INT4、GPTQ、AWQ 和 GGUF,还支持推测解码、结构化输出、工具调用和多 LoRA 服务。对大模型,它可以通过张量、流水线、数据、专家和上下文并行把工作分摊到多张 GPU 上。它提供兼容 OpenAI 的 API 服务器,以及 Anthropic Messages API 和 gRPC,并能直接使用 Hugging Face 模型。项目称它支持 200 多种模型架构。

它可在 NVIDIA、AMD 和 Intel GPU 以及多种 CPU 上运行,硬件插件还增加了对 Google TPU、Intel Gaudi、华为昇腾等的支持。它主要是面向 Linux 服务器端的工具:当你要为团队或产品部署模型时选择它,而不是在笔记本上随便用一用。

适合做什么

  • 以高吞吐量为许多用户提供开放模型服务
  • 超大模型的多 GPU、多节点部署
  • 用自托管、兼容 OpenAI 的端点替代付费的模型 API
  • 已经运行带 GPU 的 Linux 服务器的团队

需要注意

  • 它面向 GPU 服务器,安装配置比 Ollama 或 LM Studio 更复杂
  • 新的模型架构可能需要较新的 vLLM 版本,请查看模型卡中支持的版本
  • 内存规划仍然重要,因为 KV 缓存要与权重争夺显存

链接