TensorRT LLM

NVIDIA 的推理引擎,在 NVIDIA GPU 上运行大语言模型和视觉生成模型,带优化内核和 Python API。

  • 规模化部署
  • Apache 2.0 · 开源
  • Linux
  • 核实于

TensorRT LLM 是 NVIDIA 的开源工具包,用于在 NVIDIA GPU 上快速推理。按其 README 的说法,它用针对常见运算的专用内核、高效的运行时,以及可以自行定制和扩展的 Python 框架,来优化大语言模型和视觉生成模型。文档涵盖在 Linux 上用 pip 安装、NGC 上的预构建发布容器和从源码构建,并包含带有 OpenAI 风格端点的 trtllm-serve 服务器。

NVIDIA 为当前的开放模型发布了调优文章和部署指南,例如 Blackwell 上的 DeepSeek-V4,还有 Blackwell 和 Hopper GPU 上 Nemotron 3 Super、DeepSeek R1 和 Qwen3 的部署指南,以及 Blackwell 上 GPT-OSS 的部署指南。文档还涵盖稀疏注意力、推测解码、KV 缓存卸载,以及同时服务多个 LoRA 适配器。

许可证是 Apache 2.0,许可证文件说明部分代码来自其他开源项目,各有自己的许可证。它只能在 NVIDIA GPU 上运行,所以在规划部署之前,请先查看它的支持硬件页面,确认你的 GPU 世代,并参考部署指南。

适合做什么

  • 在 NVIDIA 数据中心 GPU 上以高吞吐量服务开放模型
  • 参照 NVIDIA 官方为 Nemotron、DeepSeek、GPT-OSS 和 Qwen 提供的部署指南
  • 使用 NVIDIA 容器镜像的 Linux 生产环境

需要注意

  • 它只能在 NVIDIA GPU 上运行,安装文档针对的是 Linux
  • 主分支领先于最新的 GitHub Release,请固定某个发布版本或容器版本
  • 部分代码带有其他开源许可证,许可证文件中有列出

链接