:mega::mega: 公告 :mega::mega:

TensorRT 11.0 将于 2026 年第二季度正式发布，带来强大的新功能，旨在加速您的 AI 推理工作流。随着这一重大版本更新，TensorRT 的 API 将得到简化，并移除部分遗留功能。

我们建议您尽早迁移以下功能：

• 弱类型网络及相关 API 将被移除，取而代之的是 强类型网络。
• 隐式量化及相关 API 将被移除，取而代之的是 显式量化。
• IPluginV2 及相关 API 将被移除，取而代之的是 IPluginV3。
• TREX 工具将被移除，取而代之的是 Nsight Deep Learning Designer。
• 从 TensorRT 10.16 开始，将不再支持 Python 3.9 及更早版本的 Python 绑定。RHEL/Rocky Linux 8 和 RHEL/Rocky Linux 9 的 RPM 包现依赖于 Python 3.12。

TensorRT 开源软件

本仓库包含 NVIDIA TensorRT 的开源软件（OSS）组件。它包含了 TensorRT 插件和 ONNX 解析器的源代码，以及演示 TensorRT 平台使用方法和功能的示例应用。这些开源软件组件是 TensorRT 正式发布版（GA）的一部分，附带了一些扩展和错误修复。

• 如需为 TensorRT-OSS 贡献代码，请参阅我们的 贡献指南 和 编码规范。
• 关于 TensorRT-OSS 版本中新增内容及更新的摘要，请参考 变更日志。
• 如有业务咨询，请联系 researchinquiries@nvidia.com。
• 如有媒体或其他咨询，请联系 Hector Marinez，邮箱：hmarinez@nvidia.com。

需要企业级支持吗？NVIDIA 全球技术支持可为 TensorRT 提供服务，配合 NVIDIA AI Enterprise 软件套件 使用。访问 NVIDIA LaunchPad 即可免费体验一系列基于 NVIDIA 基础设施、使用 TensorRT 的实践实验室。

加入 TensorRT 和 Triton 社区 ，及时了解最新产品更新、漏洞修复、内容、最佳实践等信息。

预编译 TensorRT Python 包

我们提供了易于安装的 TensorRT Python 包。
安装命令如下：

pip install tensorrt

您可以跳过“构建”部分，直接使用 Python 版本的 TensorRT。

构建

前置条件

要构建 TensorRT-OSS 组件，您首先需要安装以下软件包。

TensorRT GA 构建

• TensorRT v10.16.0.72
  • 可通过下方提供的直接下载链接获取

系统软件包

• CUDA
  • 推荐版本：
  • cuda-13.2.0
  • cuda-12.9.0
• CUDNN（可选）
  • cuDNN 8.9
• GNU make ≥ v4.1
• cmake ≥ v3.31
• python ≥ v3.10, ≤ v3.13.x
• pip ≥ v19.0
• 必要的实用工具
  • git、pkg-config、wget

可选软件包

• NCCL ≥ v2.19, < v3.0 — 仅在启用多设备支持（-DTRT_BUILD_ENABLE_MULTIDEVICE=ON）并构建 sampleDistCollective 示例时需要。

• 容器化构建

  • Docker ≥ 19.03
  • NVIDIA Container Toolkit

• PyPI 包（用于演示应用/测试）

  • onnx
  • onnxruntime
  • tensorflow-gpu ≥ 2.5.1
  • Pillow ≥ 9.0.1
  • pycuda < 2021.1
  • numpy
  • pytest

• 代码格式化工具（适用于贡献者）

  • Clang-format
  • Git-clang-format

  注意：onnx-tensorrt、cub 和 protobuf 等库会随 TensorRT OSS 一同下载，无需单独安装。

下载 TensorRT 构建

1. 下载 TensorRT 开源项目

   git clone -b main https://github.com/nvidia/TensorRT TensorRT
   cd TensorRT
   git submodule update --init --recursive
   

2. （可选——如果不使用 TensorRT 容器）指定 TensorRT GA 版本的构建路径

   如果使用 TensorRT 开源项目的构建容器，TensorRT 库已预安装在 /usr/lib/x86_64-linux-gnu 目录下，您可以跳过此步骤。

   否则，请从 NVIDIA 开发者专区 下载并解压 TensorRT GA 版本的构建包，下载链接如下：

   • 适用于 CUDA 13.2、Linux x86_64 的 TensorRT 10.16.0.72
   • 适用于 CUDA 12.9、Linux x86_64 的 TensorRT 10.16.0.72
   • 适用于 CUDA 13.2、Windows x86_64 的 TensorRT 10.16.0.72
   • 适用于 CUDA 12.9、Windows x86_64 的 TensorRT 10.16.0.72

   示例：Ubuntu 22.04（x86_64），CUDA 13.2

   cd ~/Downloads
   tar -xvzf TensorRT-10.16.0.72.Linux.x86_64-gnu.cuda-13.2.tar.gz
   export TRT_LIBPATH=`pwd`/TensorRT-10.16.0.72/lib
   

   示例：Windows（x86_64），CUDA 12.9

   Expand-Archive -Path TensorRT-10.16.0.72.Windows.win10.cuda-12.9.zip
   $env:TRT_LIBPATH="$pwd\TensorRT-10.16.0.72\lib"
   

设置构建环境

对于 Linux 平台，我们建议按照以下说明生成一个用于构建 TensorRT 开源项目的 Docker 容器。对于原生构建，请先安装先决条件中的“系统软件包”。

1. 生成 TensorRT 开源项目的构建容器。

   示例：Ubuntu 24.04（x86_64），CUDA 13.2（默认）

   ./docker/build.sh --file docker/ubuntu-24.04.Dockerfile --tag tensorrt-ubuntu24.04-cuda13.2
   

   示例：Rockylinux8（x86_64），CUDA 13.2

   ./docker/build.sh --file docker/rockylinux8.Dockerfile --tag tensorrt-rockylinux8-cuda13.2
   

   示例：Ubuntu 24.04 交叉编译用于 Jetson（aarch64），CUDA 13.2（JetPack SDK）

   ./docker/build.sh --file docker/ubuntu-cross-aarch64.Dockerfile --tag tensorrt-jetpack-cuda13.2
   

   示例：Ubuntu 24.04（aarch64），CUDA 13.2

   ./docker/build.sh --file docker/ubuntu-24.04-aarch64.Dockerfile --tag tensorrt-aarch64-ubuntu24.04-cuda13.2
   

2. 启动 TensorRT 开源项目的构建容器。

   示例：Ubuntu 24.04 构建容器

   ./docker/launch.sh --tag tensorrt-ubuntu24.04-cuda13.2 --gpus all
   

   注意：
   1. 请使用第 1 步中生成的构建容器对应的 --tag。
   2. 要在构建容器内访问 GPU（运行 TensorRT 应用程序），需要安装 NVIDIA Container Toolkit。
   3. Ubuntu 构建容器的 sudo 密码为 'nvidia'。
   4. 使用 --jupyter <端口> 指定端口号以启动 Jupyter Notebook。
   5. 需要对此文件夹具有写入权限，因为该文件夹将以 uid:gid 为 1000:1000 的方式挂载到 Docker 容器中。

构建 TensorRT-OSS

• 生成 Makefile 并构建

  示例：使用默认 CUDA 13.2 的 Linux (x86-64) 构建

  cd $TRT_OSSPATH
  mkdir -p build && cd build
  cmake .. -DTRT_LIB_DIR=$TRT_LIBPATH -DTRT_OUT_DIR=`pwd`/out
  make -j$(nproc)
  

  示例：使用默认 CUDA 13.2 的 Linux (aarch64) 构建

  cd $TRT_OSSPATH
  mkdir -p build && cd build
  cmake .. -DTRT_LIB_DIR=$TRT_LIBPATH -DTRT_OUT_DIR=`pwd`/out -DCMAKE_TOOLCHAIN_FILE=$TRT_OSSPATH/cmake/toolchains/cmake_aarch64-native.toolchain
  make -j$(nproc)
  

  示例：在 Jetson Thor (aarch64) 上使用 CUDA 13.2 进行原生构建

  cd $TRT_OSSPATH
  mkdir -p build && cd build
  cmake .. -DTRT_LIB_DIR=$TRT_LIBPATH -DTRT_OUT_DIR=`pwd`/out -DTRT_PLATFORM_ID=aarch64
  CC=/usr/bin/gcc make -j$(nproc)
  

  注意：对于原生 aarch64 构建的 Protobuf，必须通过 CC= 显式指定 C 编译器。

  示例：在 Ubuntu 24.04 上针对 Jetson Thor (aarch64) 使用 CUDA 13.2（JetPack）进行交叉编译

  cd $TRT_OSSPATH
  mkdir -p build && cd build
  cmake .. -DTRT_LIB_DIR=$TRT_LIBPATH -DCMAKE_TOOLCHAIN_FILE=$TRT_OSSPATH/cmake/toolchains/cmake_aarch64_cross.toolchain
  make -j$(nproc)
  

  示例：在 Ubuntu 24.04 上针对 DriveOS (aarch64) 使用 CUDA 13.2 进行交叉编译

  cd $TRT_OSSPATH
  mkdir -p build && cd build
  cmake .. -DTRT_LIB_DIR=$TRT_LIBPATH -DCMAKE_TOOLCHAIN_FILE=$TRT_OSSPATH/cmake/toolchains/cmake_aarch64_dos_cross.toolchain
  make -j$(nproc)
  

  示例：在 Windows (x86) 上使用 CUDA 13.2 进行原生构建

  cd $TRT_OSSPATH
  New-Item -ItemType Directory -Path build
  cd build
  cmake .. -DTRT_LIB_DIR="$env:TRT_LIBPATH" -DTRT_OUT_DIR="$pwd\\out"
  msbuild TensorRT.sln /property:Configuration=Release -m:$env:NUMBER_OF_PROCESSORS
  

  注意：CMake 默认使用的 CUDA 版本是 13.2。若需覆盖此设置，例如改为 12.9，可在 cmake 命令后追加 -DCUDA_VERSION=12.9。

• 必需的 CMake 构建参数包括：

  • TRT_LIB_DIR：包含库文件的 TensorRT 安装目录路径。
  • TRT_OUT_DIR：用于存放生成的构建产物的输出目录。

• 可选的 CMake 构建参数包括：

  • CMAKE_BUILD_TYPE：指定生成的二进制文件是发布版还是调试版（包含调试符号）。可选值为 [Release] 或 Debug。
  • CUDA_VERSION：目标 CUDA 版本，例如 [12.9.9]。
  • CUDNN_VERSION：目标 cuDNN 版本，例如 [8.9]。
  • PROTOBUF_VERSION：使用的 Protobuf 版本，例如 [3.20.1]。注意：更改此参数不会使 CMake 使用系统已安装的 Protobuf 版本，而是会配置 CMake 下载并尝试构建该版本。
  • CMAKE_TOOLCHAIN_FILE：用于交叉编译的工具链文件路径。
  • BUILD_PARSERS：指定是否构建解析器，例如 [ON] 或 OFF。若设置为 OFF，CMake 将尝试查找预编译的解析器库版本以用于编译示例。优先从 ${TRT_LIB_DIR} 中查找，其次在系统中查找。如果构建类型为 Debug，则会优先使用调试版本的库，而非发布版本。
  • BUILD_PLUGINS：指定是否构建插件，例如 [ON] 或 OFF。若设置为 OFF，CMake 将尝试查找预编译的插件库版本以用于编译示例。优先从 ${TRT_LIB_DIR} 中查找，其次在系统中查找。如果构建类型为 Debug，则会优先使用调试版本的库，而非发布版本。
  • BUILD_SAMPLES：指定是否构建示例，例如 [ON] 或 OFF。
  • BUILD_SAFE_SAMPLES：指定是否构建安全示例，例如 [ON] 或 OFF。
  • TRT_SAFETY_INFERENCE_ONLY：指定是否仅构建安全推理组件，例如 [ON] 或 OFF。若设置为 ON，则除 BUILD_SAFE_SAMPLES 外，其他所有组件将被关闭。
  • GPU_ARCHS：目标 GPU（SM）架构。默认情况下，我们会为所有主要 SM 生成 CUDA 代码。此处可以指定具体的 SM 版本，以缩短编译时间和减小二进制文件大小。NVIDIA GPU 的计算能力表可在 这里 查阅。示例：- NVIDIA A100：-DGPU_ARCHS="80"；- RTX 50 系列：-DGPU_ARCHS="120"；- 多个 SM：-DGPU_ARCHS="80 120"。
  • TRT_PLATFORM_ID：裸机构建（不同于容器化的交叉编译）。当前支持的选项为 x86_64（默认）。
  • TRT_BUILD_ENABLE_MULTIDEVICE：启用多设备示例（sampleDistCollective）。使用 -DTRT_BUILD_ENABLE_MULTIDEVICE=ON 来构建它；需要 NCCL ≥ v2.19，< v3.0。

构建 TensorRT DriveOS 示例

• 生成 Makefile 并编译

  示例：为 DOS7 Linux（aarch64）交叉编译

  cd $TRT_OSSPATH
  mkdir -p build && cd build
  cmake .. -DBUILD_SAMPLES=ON -DBUILD_PLUGINS=OFF -DBUILD_PARSERS=OFF -DTRT_OUT_DIR=`pwd`/bin_dynamic_cross -DTRT_LIB_DIR=$TRT_LIBPATH -DCMAKE_TOOLCHAIN_FILE=$TRT_OSSPATH/cmake/toolchains/cmake_aarch64_dos_cross.toolchain
  make -j$(nproc)
  

  示例：为 DOS6.5 Linux（aarch64）交叉编译

  cd $TRT_OSSPATH
  mkdir -p build && cd build
  cmake .. -DBUILD_SAMPLES=ON -DBUILD_PLUGINS=OFF -DBUILD_PARSERS=OFF -DTRT_OUT_DIR=`pwd`/bin_dynamic_cross -DTRT_LIB_DIR=$TRT_LIBPATH -DCMAKE_TOOLCHAIN_FILE=$TRT_OSSPATH/cmake/toolchains/cmake_aarch64_dos_cross.toolchain -DCUDA_VERSION=11.4 -DGPU_ARCHS=87
  make -j$(nproc)
  

  示例：为 DOS6.5 和 DOS7 Linux（aarch64）进行原生构建

  cd $TRT_OSSPATH
  mkdir -p build && cd build
  cmake .. -DTRT_LIB_DIR=$TRT_LIBPATH -DTRT_OUT_DIR=`pwd`/out -DCMAKE_TOOLCHAIN_FILE=$TRT_OSSPATH/cmake/toolchains/cmake_aarch64-native.toolchain -DBUILD_SAMPLES=ON -DBUILD_PLUGINS=OFF -DBUILD_PARSERS=OFF
  make -j$(nproc)
  

  示例：为 DOS6.5 QNX（aarch64）交叉编译

  cd $TRT_OSSPATH
  mkdir -p build && cd build
  export CUDA_VERSION=11.4
  export CUDA=cuda-$CUDA_VERSION
  export CUDA_ROOT=/usr/local/cuda-safe-$CUDA_VERSION
  export QNX_BASE=/drive/toolchains/qnx_toolchain  # 设置为您的 QNX 工具链安装路径
  export QNX_HOST=$QNX_BASE/host/linux/x86_64/
  export QNX_TARGET=$QNX_BASE/target/qnx7/
  export PATH=$PATH:$QNX_HOST/usr/bin
  cmake .. -DBUILD_SAMPLES=ON -DBUILD_PLUGINS=OFF -DBUILD_PARSERS=OFF -DBUILD_SAFE_SAMPLES=OFF -DCMAKE_CUDA_COMPILER=$CUDA_ROOT/bin/nvcc -DTRT_OUT_DIR=`pwd`/bin_dynamic_cross -DTRT_LIB_DIR=$TRT_LIBPATH -DCMAKE_TOOLCHAIN_FILE=$TRT_OSSPATH/cmake/toolchains/cmake_qnx.toolchain -DCUDA_VERSION=$CUDA_VERSION -DGPU_ARCHS=87
  make -j$(nproc)
  

  注意：请将 QNX_BASE 设置为您 QNX 工具链的安装路径。 如果您的 CUDA 版本与示例不同，请设置 CUDA_VERSION（对于在多个地方使用该变量的示例）或在 cmake 命令中添加 -DCUDA_VERSION=<版本>。

  示例：为 DOS6.5 QNX Safety（aarch64）交叉编译

  cd $TRT_OSSPATH
  mkdir -p build && cd build
  export CUDA_VERSION=11.4
  export QNX_BASE=/drive/toolchains/qnx_toolchain  # 设置为您的 QNX 工具链安装路径
  export QNX_HOST=$QNX_BASE/host/linux/x86_64/
  export QNX_TARGET=$QNX_BASE/target/qnx7/
  export PATH=$PATH:$QNX_HOST/usr/bin
  export CUDA=cuda-$CUDA_VERSION
  export CUDA_ROOT=/usr/local/cuda-safe-$CUDA_VERSION
  cmake .. -DBUILD_SAMPLES=OFF -DBUILD_SAFE_SAMPLES=ON -DBUILD_PLUGINS=OFF -DBUILD_PARSERS=OFF -DTRT_SAFETY_INFERENCE_ONLY=ON -DTRT_OUT_DIR=`pwd`/bin_dynamic_cross -DTRT_LIB_DIR=$TRT_LIBPATH -DCMAKE_TOOLCHAIN_FILE=$TRT_OSSPATH/cmake/toolchains/cmake_qnx_safe.toolchain -DCUDA_VERSION=$CUDA_VERSION -DCMAKE_CUDA_COMPILER=$CUDA_ROOT/bin/nvcc -DGPU_ARCHS=87
  make -j$(nproc)
  

  注意：请将 QNX_BASE 设置为您 QNX 工具链的安装路径。 如果您的 CUDA 版本与示例不同，请设置 CUDA_VERSION（对于在多个地方使用该变量的示例）或在 cmake 命令中添加 -DCUDA_VERSION=<版本>。

  示例：为 DOS7 QNX（aarch64）交叉编译

  cd $TRT_OSSPATH
  mkdir -p build && cd build
  export CUDA_VERSION=13.2
  export CUDA=cuda-$CUDA_VERSION
  export CUDA_ROOT=/usr/local/cuda-safe-$CUDA_VERSION
  export QNX_BASE=/drive/toolchains/qnx_toolchain  # 设置为您的 QNX 工具链安装路径
  export QNX_HOST=$QNX_BASE/host/linux/x86_64/
  export QNX_TARGET=$QNX_BASE/target/qnx/
  export PATH=$PATH:$QNX_HOST/usr/bin
  cmake .. -DBUILD_SAMPLES=ON -DBUILD_PLUGINS=OFF -DBUILD_PARSERS=OFF -DBUILD_SAFE_SAMPLES=OFF -DCMAKE_CUDA_COMPILER=$CUDA_ROOT/bin/nvcc -DTRT_OUT_DIR=`pwd`/bin_dynamic_cross -DTRT_LIB_DIR=$TRT_LIBPATH -DCMAKE_TOOLCHAIN_FILE=$TRT_OSSPATH/cmake/toolchains/cmake_qnx.toolchain -DCUDA_VERSION=$CUDA_VERSION -DGPU_ARCHS=110
  make -j$(nproc)
  

  注意：请将 QNX_BASE 设置为您 QNX 工具链的安装路径。 如果您的 CUDA 版本与示例不同，请设置 CUDA_VERSION（对于在多个地方使用该变量的示例）或在 cmake 命令中添加 -DCUDA_VERSION=<版本>。

参考资料

TensorRT 资源

• TensorRT 开发者主页
• TensorRT 快速入门指南
• TensorRT 开发者指南
• TensorRT 示例支持指南
• TensorRT ONNX 工具
• TensorRT 讨论论坛
• TensorRT 发行说明

已知问题

• 请参阅 TensorRT 发行说明

TensorRT 快速上手指南

TensorRT 是 NVIDIA 推出的高性能深度学习推理优化器和运行时引擎。本指南基于 TensorRT 开源软件（OSS）组件，帮助开发者快速完成环境搭建与基础使用。

1. 环境准备

在开始构建或安装前，请确保您的系统满足以下要求。

系统要求

• 操作系统: Linux (Ubuntu 22.04/24.04, Rocky Linux 8/9) 或 Windows 10/11 (x86_64)
• 架构: x86_64 或 aarch64 (Jetson/Thor)
• Python 版本: >= 3.10, <= 3.13.x (注意：Python 3.9 及更低版本的支持将在未来移除)

前置依赖

您需要安装以下核心软件包：

• CUDA Toolkit: 推荐版本 cuda-13.2.0 或 cuda-12.9.0
• cuDNN (可选): 版本 8.9
• 构建工具:
  • GNU make >= v4.1
  • cmake >= v3.31
  • git, pkg-config, wget
• TensorRT GA 包: 需预先下载对应版本的 TensorRT 二进制包（用于链接库文件），版本需匹配（如 v10.16.0.72）。

提示: 如果使用 Docker 容器化构建，只需宿主机安装 NVIDIA Container Toolkit 和 Docker >= 19.03 即可，无需在宿主机安装上述所有依赖。

2. 安装步骤

您可以选择直接安装 Python 包（推荐用于快速体验）或从源码构建（推荐用于开发插件或定制功能）。

方案 A：直接安装 Python 包（最简单）

如果您仅需在 Python 中使用 TensorRT 进行推理，可直接通过 pip 安装预编译包：

pip install tensorrt

安装完成后即可跳过源码构建步骤，直接使用。

方案 B：从源码构建 (Linux 示例)

如需开发自定义插件或使用最新 OSS 特性，请按以下步骤构建：

第一步：获取源码

git clone -b main https://github.com/nvidia/TensorRT TensorRT
cd TensorRT
git submodule update --init --recursive

国内加速建议: 如果克隆速度慢，可配置 Git 代理或使用国内镜像源（如 Gitee 镜像，若有）。

第二步：准备 TensorRT 二进制库

下载并解压对应 CUDA 版本的 TensorRT GA 包（以 Ubuntu + CUDA 13.2 为例）：

# 假设已下载 tar.gz 包到 ~/Downloads
cd ~/Downloads
tar -xvzf TensorRT-10.16.0.72.Linux.x86_64-gnu.cuda-13.2.tar.gz
export TRT_LIBPATH=`pwd`/TensorRT-10.16.0.72/lib

第三步：创建构建容器（推荐）

使用官方提供的脚本生成 Docker 构建环境：

./docker/build.sh --file docker/ubuntu-24.04.Dockerfile --tag tensorrt-ubuntu24.04-cuda13.2

启动容器：

./docker/launch.sh --tag tensorrt-ubuntu24.04-cuda13.2 --gpus all

容器内默认用户密码为 nvidia。

第四步：编译构建

在容器内执行编译命令：

cd $TRT_OSSPATH
mkdir -p build && cd build
cmake .. -DTRT_LIB_DIR=$TRT_LIBPATH -DTRT_OUT_DIR=`pwd`/out
make -j$(nproc)

编译产物将输出至 build/out 目录。

3. 基本使用

以下是一个最简单的 Python 使用示例，演示如何加载引擎并进行推理。

简单推理示例

假设您已经拥有一个序列化好的 TensorRT 引擎文件 (model.plan)。

import tensorrt as trt
import pycuda.driver as cuda
import pycuda.autoinit
import numpy as np

# 1. 初始化日志记录器
logger = trt.Logger(trt.Logger.WARNING)

# 2. 反序列化引擎
with open("model.plan", "rb") as f, trt.Runtime(logger) as runtime:
    engine = runtime.deserialize_cuda_engine(f.read())

# 3. 创建执行上下文
context = engine.create_execution_context()

# 4. 分配输入输出内存 (简化示例，实际需根据 binding 索引处理)
input_shape = (1, 3, 224, 224)
h_input = np.random.randn(*input_shape).astype(np.float32)
h_output = np.empty(engine.get_binding_shape(1), dtype=np.float32)

d_input = cuda.mem_alloc(h_input.nbytes)
d_output = cuda.mem_alloc(h_output.nbytes)

stream = cuda.Stream()
cuda.memcpy_htod_async(d_input, h_input, stream)

# 5. 执行推理
context.execute_async_v2(bindings=[int(d_input), int(d_output)], stream_handle=stream.handle)
cuda.memcpy_dtoh_async(h_output, d_output, stream)
stream.synchronize()

print("Inference result shape:", h_output.shape)

关键迁移提示 (针对新版本)

如果您是从旧版本迁移，请注意 TensorRT 11.0 (预计 2026 Q2) 的重大变更：

• 强类型网络 (Strongly Typed Networks) 将取代弱类型网络 API。
• 显式量化 (Explicit Quantization) 将取代隐式量化 API。
• IPluginV3 将取代 IPluginV2 接口。
• 建议使用 Nsight Deep Learning Designer 替代旧的 TREX 工具。