[!警告] 您当前位于 main 分支，该分支跟踪下一版本的开发进展。当前发布的稳定版本为 2.67.0，对应 NVIDIA GPU Cloud (NGC) 上的 26.03 容器版本。

Triton 推理服务器

Triton 推理服务器是一款开源的推理服务软件，旨在简化 AI 推理流程。它使团队能够部署来自多种深度学习和机器学习框架的 AI 模型，包括 TensorRT、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL 等。Triton 推理服务器支持跨云、数据中心、边缘和嵌入式设备的推理工作负载，可在 NVIDIA GPU、x86 和 ARM CPU，或 AWS Inferentia 上运行。Triton 推理服务器针对多种查询类型提供了优化性能，包括实时推理、批处理推理、模型集成以及音频/视频流式推理。Triton 推理服务器是 NVIDIA AI Enterprise 的一部分，该软件平台可加速数据科学流水线，并简化生产级 AI 的开发与部署。

主要特性包括：

• 支持多种深度学习框架
• 支持多种机器学习框架
• 并发模型执行
• 动态批处理
• 序列批处理 和针对有状态模型的 隐式状态管理
• 提供 Backend API，允许添加自定义后端及预/后处理操作
• 支持用 Python 编写自定义后端，即 基于 Python 的后端
• 使用 模型集成 或 业务逻辑脚本 (BLS) 构建模型流水线
• 基于社区开发的 KServe 协议 的 HTTP/REST 和 GRPC 推理协议
• C API 和 Java API 允许 Triton 直接集成到您的应用程序中，适用于边缘及其他进程内应用场景
• 指标，用于监控 GPU 利用率、服务器吞吐量、服务器延迟等

初次使用 Triton 推理服务器？ 请参考 这些教程，开始您的 Triton 学习之旅！

加入 Triton 和 TensorRT 社区 ，及时了解最新产品更新、漏洞修复、内容、最佳实践等信息。如需企业级支持，请联系 NVIDIA 全球技术支持，Triton 推理服务器可与 NVIDIA AI Enterprise 软件套件 配合使用。

三步轻松部署模型

# 第一步：创建示例模型仓库
git clone -b r26.03 https://github.com/triton-inference-server/server.git
cd server/docs/examples
./fetch_models.sh

# 第二步：从 NGC Triton 容器启动 Triton
docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.03-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx

# 第三步：发送推理请求
# 在另一个终端窗口中，从 NGC Triton SDK 容器启动 image_client 示例
docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.03-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

# 推理结果应如下所示：
图像 '/workspace/images/mug.jpg':
    15.346230 (504) = 咖啡杯
    13.224326 (968) = 杯子
    10.422965 (505) = 咖啡壶

有关此示例的更多信息，请参阅 快速入门 指南。快速入门指南还包含如何在仅 CPU 系统上启动 Triton 的示例 ([docs/getting_started/quickstart.md#run-on-cpu-only-system])。如果您是 Triton 新手并想知道从哪里开始，请观看 入门视频。

示例与教程

请访问 NVIDIA LaunchPad， 免费获取一系列动手实验，这些实验使用在 NVIDIA 基础设施上托管的 Triton 推理服务器。

针对 ResNet、BERT 和 DLRM 等流行模型的具体端到端示例，可在 GitHub 上的 NVIDIA 深度学习示例 页面中找到。此外， NVIDIA 开发者专区 还包含更多文档、演示文稿和示例。

文档

构建与部署

构建和使用 Triton 推理服务器的推荐方式是通过 Docker 镜像。

• 使用 Docker 容器安装 Triton 推理服务器（推荐）[docs/customization_guide/build.md#building-with-docker]
• 不使用 Docker 容器安装 Triton 推理服务器 [docs/customization_guide/build.md#building-without-docker]
• 构建自定义的 Triton 推理服务器 Docker 容器 [docs/customization_guide/compose.md]
• 从源代码构建 Triton 推理服务器 [docs/customization_guide/build.md#building-on-unsupported-platforms]
• 为 Windows 10 构建 Triton 推理服务器 [docs/customization_guide/build.md#building-for-windows-10]
• 在 GCP、AWS 和 NVIDIA FleetCommand 上使用 Kubernetes 和 Helm 部署 Triton 推理服务器的示例
• 安全部署注意事项 [docs/customization_guide/deploy.md]

使用 Triton

为 Triton 推理服务器准备模型

使用 Triton 提供模型服务的第一步，是将一个或多个模型放入 模型存储库。 根据模型类型以及您希望为该模型启用的 Triton 功能，可能需要为模型创建 模型配置。

• 如果您的模型需要，可向 Triton 添加自定义操作 [docs/user_guide/custom_operations.md]
• 使用 模型集成 和 业务逻辑脚本 (BLS) 启用模型流水线
• 通过设置 调度与批处理 参数以及 模型实例 来优化您的模型
• 使用 模型分析工具 通过性能剖析帮助优化您的模型配置
• 学习如何通过加载和卸载模型来 明确管理可用的模型

配置并使用 Triton 推理服务器

• 阅读 快速入门指南，了解如何在 GPU 和 CPU 上运行 Triton 推理服务器
• Triton 支持多种执行引擎，称为 后端，包括 TensorRT、 PyTorch、 ONNX、 OpenVINO、 Python 等。
• 并非所有上述后端都支持 Triton 支持的所有平台。请查看 后端-平台支持矩阵， 以了解哪些后端在您的目标平台上受支持。
• 学习如何使用 性能分析器 和 模型分析器 来 优化性能
• 学习如何在 Triton 中 管理模型的加载和卸载
• 直接使用 基于 HTTP/REST JSON 或 gRPC 协议 向 Triton 发送请求

客户端支持与示例

Triton 客户端 应用程序会向 Triton 发送推理和其他请求。Python 和 C++ 客户端库 提供了简化此通信的 API。

• 查看 C++、 Python 和 Java 的客户端示例
• 配置 HTTP 和 gRPC 客户端选项
• 将输入数据（例如一张 JPEG 图片）直接作为 HTTP 请求的主体发送给 Triton，而无需任何额外的元数据 [https://github.com/triton-inference-server/server/blob/main/docs/protocol/extension_binary_data.md#raw-binary-request]

扩展 Triton

Triton 推理服务器的架构 专为模块化和灵活性而设计。

• 根据您的用例定制 Triton 推理服务器容器 [docs/customization_guide/compose.md]
• 创建自定义后端 [https://github.com/triton-inference-server/backend]， 可以使用 [C/C++]（参见 Triton 后端 API） 或 Python 实现。
• 创建 解耦后端和模型，这些后端和模型可以对一个请求返回多个响应，或者不返回任何响应。
• 使用 Triton 存储库代理 添加在模型加载和卸载时运行的功能，例如身份验证、解密或转换。
• 在 Jetson 和 JetPack 上部署 Triton
• 在 AWS Inferentia 上使用 Triton [https://github.com/triton-inference-server/python_backend/tree/main/inferentia]

其他文档

• 常见问题解答
• 用户指南
• 自定义指南
• 发行说明
• GPU、驱动程序和 CUDA 支持矩阵

贡献

我们非常欢迎对 Triton 推理服务器的贡献。请先阅读 贡献指南。如果您有后端、客户端、示例代码或其他类似贡献，且这些内容并不涉及修改 Triton 的核心功能，则应将您的 Pull Request 提交到 contrib 仓库。

报告问题与提问

我们非常感谢您对该项目的任何反馈、问题或 bug 报告。在 GitHub 上提交 问题 时，请遵循 Stack Overflow 文档 中概述的流程。请确保您提供的示例：

• 尽量精简——使用尽可能少的代码，但仍能复现相同的问题。
• 完整——提供复现问题所需的所有部分。尝试去除外部依赖，看看是否仍能展示该问题。我们花在复现问题上的时间越少，就能有更多时间来修复它。
• 可验证——在提交代码之前，请先测试以确认其确实能够复现问题。同时，请移除所有与您的请求或问题无关的内容。

对于问题，请使用提供的 bug 报告和功能请求模板。

对于疑问，我们建议您在我们的社区 GitHub Discussions 中发帖。

更多信息

如需更多信息，请参阅 NVIDIA 开发者 Triton 页面。

Triton Inference Server 快速上手指南

Triton Inference Server 是一款开源的推理服务软件，支持在云、数据中心、边缘及嵌入式设备上部署来自 TensorFlow、PyTorch、ONNX、TensorRT 等多种框架的 AI 模型。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04) 或 Windows 10。
• 硬件:
  • GPU 模式: NVIDIA GPU (需安装兼容的 CUDA 驱动)。
  • CPU 模式: x86 或 ARM 架构 CPU。
• 容器运行时: 已安装 Docker 和 NVIDIA Container Toolkit (用于 GPU 支持)。

前置依赖

确保已安装 Docker 并配置好 NVIDIA 运行时：

# 验证 NVIDIA Docker 是否正常工作
docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi

注意: 国内用户若拉取 nvcr.io 镜像较慢，可配置 Docker 镜像加速器（如阿里云、腾讯云等），但官方镜像仓库 nvcr.io 目前暂无官方中国镜像源，建议配置通用 Docker 加速。

安装步骤

推荐使用 Docker 容器方式运行，无需手动编译源码。

1. 获取示例模型仓库

克隆服务器代码库并下载示例模型：

git clone -b r26.03 https://github.com/triton-inference-server/server.git
cd server/docs/examples
./fetch_models.sh

2. 启动 Triton 服务器

使用 NVIDIA NGC 提供的预构建容器启动服务。以下命令以加载 densenet_onnx 模型为例：

docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:26.03-py3 tritonserver --model-repository=/models --model-control-mode explicit --load-model densenet_onnx

参数说明:

• --gpus=1: 指定使用 1 块 GPU。若在纯 CPU 环境运行，请移除此参数并参考官方文档的 CPU 运行指南。
• -v ${PWD}/model_repository:/models: 将本地模型目录挂载到容器内。
• --load-model densenet_onnx: 显式加载指定模型。

基本使用

启动服务器后，在另一个终端窗口中，使用 Triton SDK 容器发送推理请求。

发送推理请求

运行以下命令测试图像分类模型：

docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:26.03-py3-sdk /workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

预期输出

如果一切正常，您将看到类似以下的分类结果：

Image '/workspace/images/mug.jpg':
    15.346230 (504) = COFFEE MUG
    13.224326 (968) = CUP
    10.422965 (505) = COFFEEPOT

下一步

• 开发客户端: 使用官方提供的 Python 或 C++ 客户端库集成到您的应用中。
• 自定义模型: 将您的模型文件放入 model_repository 目录，并编写对应的 config.pbtxt 配置文件即可发布新服务。
• 性能优化: 使用 perf_analyzer 工具进行性能基准测试。