安装

Torch-TensorRT 的稳定版本已在 PyPI 上发布：

pip install torch-tensorrt

Torch-TensorRT 的夜间版本已在 PyTorch 包索引上发布：

pip install --pre torch-tensorrt --index-url https://download.pytorch.org/whl/nightly/cu130

Torch-TensorRT 也包含在开箱即用的 NVIDIA NGC PyTorch 容器 中，该容器预装了所有依赖项及其正确版本，并附带示例笔记本。

如需更高级的安装方法，请参阅 此处。

快速入门

方法 1：torch.compile

您可以在任何使用 torch.compile 的地方使用 Torch-TensorRT：

import torch
import torch_tensorrt

model = MyModel().eval().cuda() # 在此处定义您的模型
x = torch.randn((1, 3, 224, 224)).cuda() # 定义模型的输入形式

optimized_model = torch.compile(model, backend="tensorrt")
optimized_model(x) # 第一次运行时编译
optimized_model(x) # 此次运行将非常快速！

方法 2：导出

如果您希望提前优化模型或在 C++ 环境中部署，Torch-TensorRT 提供了一种导出式工作流程，可将优化后的模块序列化。此模块可在 PyTorch 或 libtorch 中部署（即无需 Python 依赖）。

步骤 1：优化 + 序列化

import torch
import torch_tensorrt

model = MyModel().eval().cuda() # 在此处定义您的模型
inputs = [torch.randn((1, 3, 224, 224)).cuda()] # 在此处定义一组具有代表性的输入

trt_gm = torch_tensorrt.compile(model, ir="dynamo", inputs=inputs)
torch_tensorrt.save(trt_gm, "trt.ep", inputs=inputs) # PyTorch 仅支持 Python 运行时的 ExportedProgram。若要在 C++ 中部署，请使用 TorchScript 文件
torch_tensorrt.save(trt_gm, "trt.ts", output_format="torchscript", inputs=inputs)

步骤 2：部署

在 PyTorch 中部署：

import torch
import torch_tensorrt

inputs = [torch.randn((1, 3, 224, 224)).cuda()] # 在此处输入您的数据

# 您可以在新的 Python 会话中运行以下代码！
model = torch.export.load("trt.ep").module()
# model = torch_tensorrt.load("trt.ep").module() # 这种方式同样可行
model(*inputs)

在 C++ 中部署：

#include "torch/script.h"
#include "torch_tensorrt/torch_tensorrt.h"

auto trt_mod = torch::jit::load("trt.ts");
auto input_tensor = [...]; // 用您的输入填充此处
auto results = trt_mod.forward({input_tensor});

更多资源

• 使用 Torch-TensorRT 将扩散模型的 PyTorch 推理速度提升一倍
• 只需一行代码，Stable Diffusion 推理速度提升高达 50%
• 使用 Torch-TensorRT 优化 Hugging Face 的 LLM
• 使用 Torch-TensorRT 以 FP8 格式运行您的模型
• 借助 Torch-TensorRT，在 PyTorch 2.X 中加速推理
• 用于解决图中断并提升性能的工具 [即将推出]
• 技术讲座（GTC '23）
• 文档

平台支持

平台	支持
Linux AMD64 / GPU	支持
Linux SBSA / GPU	支持
Windows / GPU	支持（仅限 Dynamo）
Linux Jetson / GPU	JetPack-4.4+ 上支持源码编译
Linux Jetson / DLA	JetPack-4.4+ 上支持源码编译
Linux ppc64le / GPU	不支持

注：有关 JetPack 上的 PyTorch 库，请参考 NVIDIA L4T PyTorch NGC 容器。

依赖项

以下是用于验证测试用例的依赖项。Torch-TensorRT 可与其他版本配合使用，但无法保证测试一定通过。

• Bazel 8.1.1
• Libtorch 2.12.0.dev（最新夜间版）
• CUDA 13.0（Jetson 上为 CUDA 12.6）
• TensorRT 10.15.1.29（Jetson 上为 TensorRT 10.3）

弃用政策

弃用旨在告知开发者某些 API 和工具已不再推荐使用。自版本 2.3 起，Torch-TensorRT 实行如下弃用政策：

弃用通知将在发行说明中公布。被弃用的 API 函数会在源代码中注明其弃用时间。如果在运行时使用已被弃用的方法或类，系统将发出弃用警告。Torch-TensorRT 会在弃用后提供 6 个月的过渡期。在此期间，API 和工具仍可正常使用。过渡期结束后，API 和工具将按照语义版本控制规则被移除。

贡献

请查看 CONTRIBUTING.md

许可证

Torch-TensorRT 的许可证可在 LICENSE 文件中找到。它采用 BSD 风格许可证授权。

Torch-TensorRT 快速上手指南

Torch-TensorRT 是将 NVIDIA TensorRT 的强大功能引入 PyTorch 的工具。只需一行代码，即可在 NVIDIA 平台上将 PyTorch 模型的推理延迟降低高达 5 倍。

环境准备

在使用前，请确保您的开发环境满足以下要求：

• 操作系统:
  • Linux (AMD64/x86_64 或 SBSA/aarch64) - 完全支持
  • Windows - 仅支持 Dynamo 后端
  • NVIDIA Jetson (JetPack 4.4+) - 支持源码编译
• 硬件: NVIDIA GPU
• 核心依赖版本 (推荐测试通过的版本):
  • PyTorch: 2.12+ (Nightly 版本兼容性更佳)
  • CUDA: 13.0 (Jetson 平台为 12.6)
  • TensorRT: 10.14.1+ (Jetson 平台为 10.3+)
  • Libtorch: 2.12.0.dev+

注意: 对于 Jetson 用户，推荐使用 NVIDIA L4T PyTorch NGC 容器 以获得预配置好的环境。

安装步骤

方式一：安装稳定版 (推荐)

通过 PyPI 直接安装稳定版本：

pip install torch-tensorrt

方式二：安装夜间构建版 (Nightly)

如果您需要使用最新的特性或与最新版的 PyTorch/CUDA 配合，可安装夜间构建版：

pip install --pre torch-tensorrt --index-url https://download.pytorch.org/whl/nightly/cu130

方式三：使用 NVIDIA NGC 容器 (最简便)

无需手动配置依赖，直接拉取包含所有必要组件和示例的官方容器：

docker pull nvcr.io/nvidia/pytorch:<tag>
# 具体标签请参考 NVIDIA NGC Catalog

基本使用

Torch-TensorRT 提供了两种主要的使用模式：即时编译 (torch.compile) 和 导出部署 (Export)。

模式一：使用 torch.compile (最简单)

这是最快的上手方式，适用于 Python 环境下的即时加速。只需指定 backend="tensorrt"。

import torch
import torch_tensorrt

# 1. 定义模型并移至 CUDA
model = MyModel().eval().cuda() 

# 2. 定义代表性的输入张量 (用于形状推导)
x = torch.randn((1, 3, 224, 224)).cuda() 

# 3. 使用 torch.compile 进行编译，指定 backend 为 tensorrt
optimized_model = torch.compile(model, backend="tensorrt")

# 4. 首次运行触发编译
optimized_model(x) 

# 5. 后续运行将获得加速效果
optimized_model(x) 

模式二：导出与部署 (适用于生产环境)

如果您需要预先优化模型，或将其部署到 C++ 环境（无 Python 依赖），请使用导出工作流。

第一步：优化并序列化模型

import torch
import torch_tensorrt

model = MyModel().eval().cuda()
inputs = [torch.randn((1, 3, 224, 224)).cuda()]

# 编译模型
trt_gm = torch_tensorrt.compile(model, ir="dynamo", inputs=inputs)

# 保存为 .ep 格式 (仅限 Python 运行时加载)
torch_tensorrt.save(trt_gm, "trt.ep", inputs=inputs)

# 保存为 TorchScript (.ts) 格式 (可用于 C++ 部署)
torch_tensorrt.save(trt_gm, "trt.ts", output_format="torchscript", inputs=inputs)

第二步：加载与推理

在 Python 中加载:

import torch
import torch_tensorrt

inputs = [torch.randn((1, 3, 224, 224)).cuda()]

# 加载导出的程序
model = torch.export.load("trt.ep").module()
# 或者使用: model = torch_tensorrt.load("trt.ep").module()

# 执行推理
model(*inputs)

在 C++ 中加载:

#include "torch/script.h"
#include "torch_tensorrt/torch_tensorrt.h"

// 加载 TorchScript 模型
auto trt_mod = torch::jit::load("trt.ts");
auto input_tensor = [...]; // 填入您的输入数据

// 执行推理
auto results = trt_mod.forward({input_tensor});