Yolo DeepStream

说明

本仓库包含四个部分：

1) yolov7_qat

在yolov7_qat中，我们使用TensorRT的PyTorch量化工具，基于预训练权重对YOLOv7进行QAT微调训练。最终，在Jetson OrinX上，我们实现了与PTQ相当的TensorRT性能，且模型的精度（mAP）仅略有下降。

2) tensorrt_yolov7

在tensorrt_yolov7中，我们提供了一个独立的C++ YOLOv7应用程序示例。您可以使用trtexec将从yolov7_qat仓库导出的FP32 ONNX模型或QAT-int8模型转换为TensorRT引擎，并将其作为YOLOv7应用的输入。该应用可以对图像和视频进行目标检测，也可以在COCO数据集上测试mAP。

3) deepstream_yolo

在deepstream_yolo中，此示例展示了如何将带有自定义输出层解析功能的YOLO模型集成到DeepStreamSDK中，以实现对检测目标的解析。

4) tensorrt_yolov4

在tensorrt_yolov4中，此示例展示了一个用于YOLOv4的独立TensorRT示例程序。

性能

针对YOLOv7示例：

下表展示了使用此示例应用程序处理1080p视频的端到端性能。

• 测试设备：
  1. Jetson AGX Orin 64GB（电源模式：MAXN + GPU频率：1.3GHz + CPU：12核，2.2GHz）
  2. Tesla T4

设备	精度	流数量	批量大小	trtexec FPS	DeepStream应用FPS（CUDA后处理）	DeepStream应用FPS（CPU后处理）
Orin-X	FP16	1	1	126	124	120
Orin-X	FP16	16	16	162	145	135
Orin-X	Int8 (PTQ/QAT)	1	1	180	175	128
Orin-X	Int8 (PTQ/QAT)	16	16	264	264	135
T4	FP16	1	1	132	125	123
T4	FP16	16	16	169	169	123
T4	Int8 (PTQ/QAT)	1	1	208	170	127
T4	Int8 (PTQ/QAT)	16	16	305	300	132

• 注意：trtexec未启用cudaGraph，因为DeepStream不支持cudaGraph。

代码结构

├── deepstream_yolo
│   ├── config_infer_primary_yoloV4.txt # YOLOv4模型的配置文件
│   ├── config_infer_primary_yoloV7.txt # YOLOv7模型的配置文件
│   ├── deepstream_app_config_yolo.txt # DeepStream参考应用配置文件，用于将YOLO模型用作主检测器
│   ├── labels.txt # COCO检测标签 # YOLO模型检测目标的输出层解析函数
│   ├── nvdsinfer_custom_impl_Yolo 
│   │   ├── Makefile
│   │   └── nvdsparsebbox_Yolo.cpp 
│   └── README.md 
├── README.md
├── tensorrt_yolov4
│   ├── data 
│   │   ├── demo.jpg # 示例图像
│   │   └── demo_out.jpg # 示例图像的检测结果
│   ├── Makefile
│   ├── Makefile.config
│   ├── README.md
│   └── source
│       ├── generate_coco_image_list.py # Python脚本，用于从MS COCO标注或信息文件中获取图像名称列表
│       ├── main.cpp # 程序主入口，此处配置参数
│       ├── Makefile
│       ├── onnx_add_nms_plugin.py # Python脚本，用于在ONNX模型中添加BatchedNMSPlugin节点
│       ├── SampleYolo.cpp # YOLOv4推理类函数定义文件
│       └── SampleYolo.hpp # YOLOv4推理类定义文件
├── tensorrt_yolov7
│   ├── CMakeLists.txt
│   ├── imgs # 示例图像
│   │   ├── horses.jpg 
│   │   └── zidane.jpg
│   ├── README.md
│   ├── samples 
│   │   ├── detect.cpp # 图像检测应用
│   │   ├── validate_coco.cpp # COCO数据集验证应用
│   │   └── video_detect.cpp # 视频检测应用
│   ├── src
│   │   ├── argsParser.cpp # 命令行解析辅助类
│   │   ├── argsParser.h # 命令行解析辅助类
│   │   ├── tools.h # YOLOv7类的辅助函数
│   │   ├── Yolov7.cpp # YOLOv7类
│   │   └── Yolov7.h # YOLOv7类
│   └── test_coco_map.py # 用于通过JSON文件测试COCO mAP的工具
└── yolov7_qat
    ├── doc
    │   ├── Guidance_of_QAT_performance_optimization.md # PyTorch量化工具中Q&DQ插入与放置的指导文档
    ├── quantization
    │   ├── quantize.py # 用于量化YOLOv7模型的辅助类
    │   └── rules.py # Q&DQ节点插入规则及限制条件
    ├── README.md 
    └── scripts
        ├── detect-trt.py # 使用TensorRT引擎检测图像
        ├── draw-engine.py # 将TensorRT引擎绘制为图
        ├── eval-trt.py # 评估TensorRT mAP的脚本
        ├── eval-trt.sh # 评估TensorRT mAP的命令行脚本
        ├── qat.py # QAT和PTQ的主要功能
        └── trt-int8.py # TensorRT内置校准

Yolo DeepStream 快速上手指南

本指南帮助开发者在 NVIDIA Jetson Orin 或 Tesla T4 等设备上，快速部署基于 TensorRT 和 DeepStream SDK 的 YOLOv7/v4 目标检测应用。

1. 环境准备

系统要求

• 硬件平台：NVIDIA Jetson AGX Orin / Orin NX / Nano 或搭载 Tesla T4 的服务器。
• 操作系统：Ubuntu 18.04/20.04 (JetPack 5.x 推荐用于 Orin 系列)。
• 核心软件：
  • NVIDIA CUDA Toolkit
  • cuDNN
  • TensorRT (建议版本 8.4+)
  • DeepStream SDK (建议版本 6.0+)
  • PyTorch (用于 QAT 量化训练部分)

前置依赖安装

确保已安装基础开发工具及 Python 依赖。国内用户推荐使用清华或阿里镜像源加速。

# 更新包管理器并安装基础依赖
sudo apt-get update
sudo apt-get install -y git cmake build-essential libgtk-3-dev libavcodec-dev libavformat-dev libswscale-dev

# 安装 Python 依赖 (建议使用虚拟环境)
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy opencv-python pycuda onnx graphviz

注意：请确保 deepstream-app 和 trtexec 命令可在终端直接运行，以验证 DeepStream 和 TensorRT 环境配置正确。

2. 安装步骤

克隆项目

git clone https://github.com/marcoslucianops/yolo_deepstream.git
cd yolo_deepstream

编译 C++ 推理示例 (TensorRT YOLOv7)

进入 tensorrt_yolov7 目录并构建项目：

cd tensorrt_yolov7
mkdir build && cd build
cmake ..
make -j$(nproc)

编译 DeepStream 插件 (DeepStream YOLO)

若需使用 DeepStream 进行多路视频流分析，需编译自定义解析插件：

cd ../deepstream_yolo/nvdsinfer_custom_impl_Yolo
make clean && make -j$(nproc)
# 编译完成后，生成的 .so 文件将自动被 deepstream-app 调用

(可选) 准备模型

本项目支持直接使用导出的 ONNX 模型转换为 TensorRT 引擎。

• FP16/INT8 模型转换：使用 trtexec 工具。

  # 示例：将 ONNX 模型转换为 FP16 Engine
  trtexec --onnx=yolov7.onnx --saveEngine=yolov7_fp16.engine --fp16
  
  # 示例：使用 QAT 导出的 INT8 模型 (需校准表或直接加载 QAT 权重)
  trtexec --onnx=yolov7_qat.onnx --saveEngine=yolov7_int8.engine --int8
  

• QAT 训练：如需从头进行量化感知训练，请参考 yolov7_qat 目录下的 README.md 及 scripts/qat.py。

3. 基本使用

场景一：单张图片/视频检测 (C++ standalone)

使用编译好的 tensorrt_yolov7 示例对本地图片或视频进行推理。

# 返回到 build 目录
cd ../../tensorrt_yolov7/build

# 检测单张图片
./detect --engine ../yolov7_fp16.engine --input ../imgs/horses.jpg --output output_horses.jpg

# 检测视频文件
./video_detect --engine ../yolov7_fp16.engine --input ../videos/test.mp4 --output output_video.mp4

场景二：多路视频流分析 (DeepStream SDK)

使用 DeepStream 进行高性能多流处理。需修改配置文件指向你的 TensorRT 引擎。

1. 修改配置文件： 编辑 deepstream_yolo/config_infer_primary_yoloV7.txt，确保 model-file 指向你的 .engine 文件，network-mode 设置为对应的精度 (0:FP32, 1:INT8, 2:FP16)。

   # config_infer_primary_yoloV7.txt 片段
   model-file=../yolov7_fp16.engine
   network-mode=2
   num-detected-classes=80
   custom-lib-path=../nvdsinfer_custom_impl_Yolo/libnvdsinfer_custom_impl_Yolo.so
   parsing-config-file=../nvdsinfer_custom_impl_Yolo/config_yoloV7.txt
   

2. 运行 DeepStream 应用： 编辑 deepstream_app_config_yolo.txt 添加输入源（摄像头、RTSP 流或本地视频），然后运行：

   cd ../deepstream_yolo
   deepstream-app -c deepstream_app_config_yolo.txt
   

   提示：输出窗口将显示实时检测画面。若在无显示器环境（如服务器），可配置 sink-type 为 fakesink 或通过 RTSP/HLS 推流查看。

性能验证

在 Jetson Orin X 上，使用 FP16 精度单流 1080p 视频测试，预期 FPS 约为 120+；开启 16 路并发流时，得益于 TensorRT 优化，吞吐量可显著提升。使用 INT8 (QAT/PTQ) 模式可进一步获得约 1.5 倍的推理速度提升。