YoloV8 TensorRT CPP

使用 TensorRT 的 YoloV8 C++ 实现
支持目标检测、语义分割和人体姿态估计。

寻求维护者 🚀

本项目正在积极寻找维护者，以帮助指导其发展与改进。如果你对该项目充满热情并有意贡献，我非常期待与你交流！

请随时通过 LinkedIn 联系我，探讨如何参与其中。

入门指南

本项目展示了如何使用 TensorRT C++ API 运行 YoloV8 的 GPU 推理。 它借助我的另一个项目 tensorrt-cpp-api 在后台执行推理，因此请确保你熟悉该项目。

前提条件

• 已在 Ubuntu 20.04 和 22.04 上测试并正常运行（目前不支持 Windows）
• 安装 CUDA，安装说明 在此。
  • 建议版本 ≥ 12.0
• 安装 cuDNN，安装说明 在此。
  • 建议版本 ≥ 8
• sudo apt install build-essential
• sudo apt install python3-pip
• pip3 install cmake
• 安装支持 CUDA 的 OpenCV。若要从源码编译 OpenCV，请运行提供的 build_opencv.sh 脚本，该脚本位于 此处。
  • 建议版本 ≥ 4.8
• 从 此处 下载 TensorRT 10。
  • 必须 ≥ 10.0
• 解压后，进入 CMakeLists.txt 文件，将其中的 TODO 替换为你 TensorRT 的安装路径。

安装

• git clone https://github.com/cyrusbehr/YOLOv8-TensorRT-CPP --recursive
• 注意：务必使用 --recursive 标志，因为此仓库使用了 Git 子模块。

将模型从 PyTorch 转换为 ONNX

• 访问 官方 YoloV8 仓库，下载所需版本的模型（例如 YOLOv8x）。
  • 代码还开箱即用地支持语义分割模型（例如 YOLOv8x-seg）和姿态估计模型（例如 yolov8x-pose.onnx）。
• pip3 install ultralytics
• 进入 scripts/ 目录，运行以下命令：
• python3 pytorch2onnx.py --pt_path <你的 pt 文件路径>
• 执行此命令后，你应成功将模型从 PyTorch 转换为 ONNX。
• 注意：如果使用其他脚本转换模型，请确保禁用 end2end 选项。该选项会将边界框解码和 NMS 直接添加到模型中，而我的实现则是在模型外部使用传统的 C++ 来完成这些步骤。

构建项目

• mkdir build
• cd build
• cmake ..
• make -j

运行可执行文件

• 注：首次运行任何脚本时，可能需要较长时间（5 分钟以上），因为 TensorRT 需要根据 ONNX 模型生成优化后的 TensorRT 引擎文件。之后该引擎文件会被保存到磁盘，并在后续运行中直接加载。
• 注：这些可执行文件均可直接与 Ultralytics 的预训练目标检测、分割和姿态估计模型配合使用。
• 要运行基准测试脚本，执行：./benchmark --model /path/to/your/onnx/model.onnx --input /path/to/your/benchmark/image.png
• 要对图像进行推理并将标注后的图像保存到磁盘，执行：./detect_object_image --model /path/to/your/onnx/model.onnx --input /path/to/your/image.jpg
  • 你可以使用 images/ 目录中的图片进行测试。
• 要使用网络摄像头进行推理并实时显示结果，执行：./detect_object_video --model /path/to/your/onnx/model.onnx --input 0
• 注意：如果你已有预先构建好的 TensorRT 引擎文件，也可以通过 --trt_model 选项指定该文件。
• 如需查看完整参数列表，可在不提供任何参数的情况下运行任意一个可执行文件。

INT8 推理

启用 INT8 精度可以在牺牲一定准确率的前提下进一步提升推理速度，这是因为动态范围被缩小了。 对于 INT8 精度，必须提供具有代表性的校准数据，这些数据应反映模型实际会遇到的真实数据。 建议使用 1000 张以上的校准图像。要在 YoloV8 的验证模型上启用 INT8 推理，需执行以下步骤：

• 下载并解压 COCO 验证集，或准备能代表你推理数据的样本：wget http://images.cocodataset.org/zips/val2017.zip
• 在运行可执行文件时，添加额外的命令行参数：--precision INT8 --calibration-data /path/to/your/calibration/data
• 如果出现“函数 allocate 内存不足”的错误，则需要降低 Options.calibrationBatchSize 参数，以确保整个批次能够容纳在你的 GPU 显存中。

基准测试

• 在运行基准测试之前，请确保你的 GPU 已经卸载。
• 使用 /images/640_640.jpg 图像运行可执行文件 benchmark。
• 如果你想对每个组件（预处理、推理、后处理）进行基准测试，可以重新编译并将 ENABLE_BENCHMARKS 标志设置为 ON：cmake -DENABLE_BENCHMARKS=ON ..。
  • 然后你可以再次运行该可执行文件。

基准测试是在 NVIDIA GeForce RTX 3080 笔记本电脑 GPU 和 Intel(R) Core(TM) i7-10870H CPU @ 2.20GHz 上进行的，使用了 GPU 内存中的 640x640 BGR 图像以及 FP16 精度。

模型	总时间	预处理时间	推理时间	后处理时间
yolov8n	3.613 ms	0.081 ms	1.703 ms	1.829 ms
yolov8n-pose	2.107 ms	0.091 ms	1.609 ms	0.407 ms
yolov8n-seg	15.194 ms	0.109 ms	2.732 ms	12.353 ms

| 模型 | 精度 | 总时间 | 预处理时间 | 推理时间 | 后处理时间 | |--------- |----------- |------------ |----------------- |---------------- |------------------ | | yolov8x | FP32 | 25.819 ms | 0.103 ms | 23.763 ms | 1.953 ms | | yolov8x | FP16 | 10.147 ms | 0.083 ms | 7.677 ms | 2.387 ms | | yolov8x | INT8 | 7.32 ms | 0.103 ms | 4.698 ms | 2.519 ms |

待办事项：需要使用 CUDA 内核来优化后处理时间。

调试方法

• 如果你在从 ONNX 模型创建 TensorRT 引擎文件时遇到问题，请导航到 libs/tensorrt-cpp-api/src/engine.cpp，将日志级别更改为 kVERBOSE，然后重新构建并运行。这样应该能提供更多关于构建过程具体失败位置的信息。

表达感谢

如果这个项目对你有所帮助，我将非常感激你能给它点个赞。这会鼓励我保持项目的更新，并快速解决出现的问题。

贡献者

z3lx 💻

Loic Tetrel 💻

Shubham 💻

Amirhosein Vedadi 💻

YOLOv8-TensorRT-CPP 快速上手指南

本项目是一个基于 C++ 和 TensorRT 实现的 YOLOv8 推理引擎，支持目标检测、语义分割和人体姿态估计。它利用高性能的 TensorRT 后端，在 NVIDIA GPU 上实现极速推理。

1. 环境准备

系统要求

• 操作系统: Ubuntu 20.04 或 22.04 (目前不支持 Windows)
• GPU: 支持 CUDA 的 NVIDIA 显卡

前置依赖

请确保已安装以下软件包及库：

1. 基础构建工具:

   sudo apt install build-essential python3-pip
   pip3 install cmake
   

2. CUDA & cuDNN:

   • CUDA: 推荐版本 >= 12.0 (下载链接)
   • cuDNN: 推荐版本 >= 8 (下载链接)

3. OpenCV (带 CUDA 支持):

   • 推荐版本 >= 4.8
   • 建议从源码编译以启用 CUDA 加速。可使用项目依赖库中的脚本：

     # 参考 tensorrt-cpp-api 中的脚本
     wget https://raw.githubusercontent.com/cyrusbehr/tensorrt-cpp-api/ec6a7529a792b2a9b1ab466f2d0e2da5df47543d/scripts/build_opencv.sh
     chmod +x build_opencv.sh
     ./build_opencv.sh
     

4. TensorRT:

   • 必须版本 >= 10.0
   • 从 NVIDIA 官网 下载并解压。
   • 重要配置: 解压后，打开本项目的 CMakeLists.txt 文件，找到 TODO 占位符，将其替换为你本地 TensorRT 的安装路径。

2. 安装步骤

克隆项目

注意必须使用 --recursive 参数以拉取必要的子模块。

git clone https://github.com/cyrusbehr/YOLOv8-TensorRT-CPP --recursive
cd YOLOv8-TensorRT-CPP

模型转换 (PyTorch -> ONNX)

本项目需要 ONNX 格式的模型。请先安装 ultralytics 库，然后执行转换。

1. 安装依赖：

   pip3 install ultralytics
   

2. 执行转换脚本（支持检测、分割和姿态模型）：

   cd scripts
   python3 pytorch2onnx.py --pt_path <你的.pt 模型文件路径>
   

   注意: 确保转换时未启用 end2end 模式（即不要在模型内部包含 NMS 和解码逻辑），本项目的 C++ 代码将独立处理这些步骤以获得最佳性能。

编译项目

mkdir build
cd build
cmake ..
make -j

3. 基本使用

首次运行任何可执行文件时，TensorRT 会根据 ONNX 模型生成优化的引擎文件（.engine 或 .plan），这可能需要几分钟时间。后续运行将直接加载该文件，速度极快。

以下命令假设你已在 build 目录下，且拥有转换好的 ONNX 模型。

图片推理 (目标检测/分割/姿态)

对单张图片进行推理并保存标注结果：

./detect_object_image --model /path/to/your/model.onnx --input /path/to/your/image.jpg

注：你可以使用项目 images/ 目录下的图片进行测试。该命令自动适配检测、分割或姿态模型。

实时摄像头推理

调用摄像头进行实时检测并在窗口显示结果：

./detect_object_video --model /path/to/your/model.onnx --input 0

注：--input 0 表示默认摄像头，也可替换为视频文件路径。

性能基准测试

测试模型在特定图片上的推理耗时：

./benchmark --model /path/to/your/model.onnx --input /path/to/your/benchmark/image.png

高级选项：INT8 量化推理

如需进一步提升速度（牺牲少量精度），可使用 INT8 模式。需准备约 1000 张代表性图片作为校准数据。

# 示例：使用 COCO 验证集作为校准数据
./detect_object_image --model /path/to/your/model.onnx --input image.jpg --precision INT8 --calibration-data /path/to/coco/val2017

如果遇到显存不足错误，请修改代码中的 Options.calibrationBatchSize 减小批次大小后重新编译。

指定预生成的 TensorRT 引擎

如果你已经生成了引擎文件，可以直接通过 --trt_model 指定，跳过 ONNX 解析过程：

./detect_object_image --trt_model /path/to/your/engine.plan --input image.jpg