部署深度学习

欢迎来到我们针对 NVIDIA Jetson 设备的推理与实时视觉 DNN 库 教程。该项目使用 TensorRT 在 GPU 上以 C++ 或 Python 运行优化后的网络，并利用 PyTorch 进行模型训练。

支持的 DNN 视觉原语包括用于图像分类的 imageNet、用于目标检测的 detectNet、用于语义分割的 segNet、用于姿态估计的 poseNet，以及用于动作识别的 actionNet。我们还提供了从实时摄像头流中进行处理、使用 WebRTC 构建 Web 应用，以及对 ROS/ROS2 的支持等示例。

请按照 Hello AI World 教程，在您的 Jetson 设备上运行推理和迁移学习，其中包括收集您自己的数据集、使用 PyTorch 训练自定义模型，并通过 TensorRT 部署这些模型。

目录

• Hello AI World
• Jetson AI Lab
• 视频教程
• API 参考
• 代码示例
• 预训练模型
• 系统要求
• 变更日志

>   JetPack 6 现已支持 Orin 设备 (developer.nvidia.com/jetpack)
>   欢迎访问 Jetson AI Lab 查看生成式 AI 和 LLM 教程！
>   请参阅 变更日志 以获取最新更新和新功能。

Hello AI World

Hello AI World 可以完全在您的 Jetson 设备上运行，包括使用 TensorRT 进行实时推理，以及利用 PyTorch 进行迁移学习。有关安装说明，请参阅 系统设置。建议先从 推理 部分开始，熟悉相关概念，然后再深入学习 训练 自己的模型。

系统设置

• 使用 JetPack 设置 Jetson
• 运行 Docker 容器
• 从源码构建项目

推理

• 图像分类
  • 在 Jetson 上使用 ImageNet 程序
  • 编写您自己的图像识别程序（Python）
  • 编写您自己的图像识别程序（C++）
  • 运行实时摄像头识别演示
  • 用于图像标签的多标签分类
• 目标检测
  • 从图像中检测目标
  • 运行实时摄像头检测演示
  • 编写您自己的目标检测程序
  • 使用 TAO 检测模型
  • 视频中的目标跟踪
• 语义分割
  • 从命令行分割图像
  • 运行实时摄像头分割演示
• 姿态估计
• 动作识别
• 背景去除
• 单目深度

训练

• 使用 PyTorch 进行迁移学习
• 分类/识别（ResNet-18）
  • 基于猫狗数据集的再训练
  • 基于 PlantCLEF 数据集的再训练
  • 收集您自己的分类数据集
• 目标检测（SSD-Mobilenet）
  • 再训练 SSD-Mobilenet
  • 收集您自己的检测数据集

Web 应用框架

• WebRTC 服务器
• HTML / JavaScript
• Flask + REST
• Plotly 仪表板
• Recognizer（交互式训练）

附录

• 摄像头流媒体与多媒体
• 使用 CUDA 进行图像处理
• 适用于 ROS/ROS2 的 DNN 推理节点

Jetson AI Lab

Jetson AI Lab 提供了更多关于 LLM、视觉 Transformer (ViT) 和视觉语言模型 (VLM) 的教程，这些模型可在 Orin（有时也可在 Xavier 上）运行。以下是一些示例：

NanoOWL - 开放词汇目标检测 ViT（容器：nanoowl）

Jetson AGX Orin 上的 Live Llava（容器：local_llm）

Live Llava 2.0 - VILA + 多模态 NanoDB 在 Jetson Orin 上（容器：local_llm）

NVIDIA Jetson 上的实时多模态向量数据库（容器：nanodb）

视频教程

以下是为 Jetson AI 认证 课程录制的 Hello AI World 屏幕录像：

描述	视频
Hello AI World 设置 在 Jetson Nano 上下载并运行 Hello AI World 容器，测试摄像头画面，并了解如何通过 RTP 协议将其在网络中进行流式传输。
图像分类推理 使用 Jetson Nano 和深度学习编写自己的 Python 程序进行图像分类，然后在实时摄像头流上尝试进行实时分类。
训练图像分类模型 学习如何在 Jetson Nano 上使用 PyTorch 训练图像分类模型，并收集自己的分类数据集以创建自定义模型。
目标检测推理 使用 Jetson Nano 和深度学习编写自己的 Python 程序进行目标检测，然后在实时摄像头流上尝试进行实时检测。
训练目标检测模型 学习如何在 Jetson Nano 上使用 PyTorch 训练目标检测模型，并收集自己的检测数据集以创建自定义模型。
语义分割 在 Jetson Nano 上尝试全卷积语义分割网络，并在实时摄像头流上运行实时分割。

API 参考

以下是来自该仓库的 C++ 和 Python 库的参考文档链接：

jetson-inference

	C++	Python
图像识别	imageNet	imageNet
目标检测	detectNet	detectNet
分割	segNet	segNet
姿态估计	poseNet	poseNet
行为识别	actionNet	actionNet
背景去除	backgroundNet	actionNet
单目深度	depthNet	depthNet

jetson-utils

• C++
• Python

这些库可以通过链接到 libjetson-inference 和 libjetson-utils 来在外部项目中使用。

代码示例

Hello AI World 教程中的以下步骤涵盖了使用该库的入门级代码讲解：

• 编写你自己的图像识别程序（Python）
• 编写你自己的图像识别程序（C++）

此外，还有更多用于在图像和实时摄像头流上运行神经网络的 C++ 和 Python 示例，如下所示：

	C++	Python
图像识别	imagenet.cpp	imagenet.py
目标检测	detectnet.cpp	detectnet.py
分割	segnet.cpp	segnet.py
姿态估计	posenet.cpp	posenet.py
行为识别	actionnet.cpp	actionnet.py
背景去除	backgroundnet.cpp	backgroundnet.py
单目深度	depthnet.cpp	depthnet.py

注：有关如何与其他 Python 库（如 Numpy、PyTorch 等）一起使用内存，请参阅 数组接口 部分。

这些示例将在从源代码构建项目时自动编译，并且除了用户提供的自定义模型外，还可以运行下面列出的预训练模型。每个示例都可以通过添加 --help 参数来查看使用说明。

预训练模型

该项目附带多个预训练模型，可供直接使用，并会自动下载：

图像识别

网络	CLI 参数	NetworkType 枚举
AlexNet	alexnet	ALEXNET
GoogleNet	googlenet	GOOGLENET
GoogleNet-12	googlenet-12	GOOGLENET_12
ResNet-18	resnet-18	RESNET_18
ResNet-50	resnet-50	RESNET_50
ResNet-101	resnet-101	RESNET_101
ResNet-152	resnet-152	RESNET_152
VGG-16	vgg-16	VGG-16
VGG-19	vgg-19	VGG-19
Inception-v4	inception-v4	INCEPTION_V4

目标检测

模型	CLI 参数	NetworkType 枚举	物体类别
SSD-Mobilenet-v1	ssd-mobilenet-v1	SSD_MOBILENET_V1	91 个（COCO 类别）
SSD-Mobilenet-v2	ssd-mobilenet-v2	SSD_MOBILENET_V2	91 个（COCO 类别）
SSD-Inception-v2	ssd-inception-v2	SSD_INCEPTION_V2	91 个（COCO 类别）
TAO PeopleNet	peoplenet	PEOPLENET	人、包、脸
TAO PeopleNet（剪枝版）	peoplenet-pruned	PEOPLENET_PRUNED	人、包、脸
TAO DashCamNet	dashcamnet	DASHCAMNET	人、车、自行车、交通标志
TAO TrafficCamNet	trafficcamnet	TRAFFICCAMNET	人、车、自行车、交通标志
TAO FaceDetect	facedetect	FACEDETECT	脸

旧版检测模型

模型	CLI 参数	NetworkType 枚举	物体类别
DetectNet-COCO-Dog	coco-dog	COCO_DOG	狗
DetectNet-COCO-Bottle	coco-bottle	COCO_BOTTLE	瓶子
DetectNet-COCO-Chair	coco-chair	COCO_CHAIR	椅子
DetectNet-COCO-Airplane	coco-airplane	COCO_AIRPLANE	飞机
ped-100	pednet	PEDNET	行人
multiped-500	multiped	PEDNET_MULTI	行人、行李
facenet-120	facenet	FACENET	面部

语义分割

数据集	分辨率	CLI 参数	精度	Jetson Nano	Jetson Xavier
Cityscapes	512x256	fcn-resnet18-cityscapes-512x256	83.3%	48 FPS	480 FPS
Cityscapes	1024x512	fcn-resnet18-cityscapes-1024x512	87.3%	12 FPS	175 FPS
Cityscapes	2048x1024	fcn-resnet18-cityscapes-2048x1024	89.6%	3 FPS	47 FPS
DeepScene	576x320	fcn-resnet18-deepscene-576x320	96.4%	26 FPS	360 FPS
DeepScene	864x480	fcn-resnet18-deepscene-864x480	96.9%	14 FPS	190 FPS
Multi-Human	512x320	fcn-resnet18-mhp-512x320	86.5%	34 FPS	370 FPS
Multi-Human	640x360	fcn-resnet18-mhp-512x320	87.1%	23 FPS	325 FPS
Pascal VOC	320x320	fcn-resnet18-voc-320x320	85.9%	45 FPS	508 FPS
Pascal VOC	512x320	fcn-resnet18-voc-512x320	88.5%	34 FPS	375 FPS
SUN RGB-D	512x400	fcn-resnet18-sun-512x400	64.3%	28 FPS	340 FPS
SUN RGB-D	640x512	fcn-resnet18-sun-640x512	65.1%	17 FPS	224 FPS

• 如果 CLI 参数中未指定分辨率，则加载最低分辨率的模型
• 精度表示模型在验证数据集上的像素分类准确率
• 性能是在 JetPack 4.2.1、nvpmodel 0（MAX-N）设置下，以 GPU FP16 模式测量的

旧版分割模型

网络	CLI 参数	NetworkType 枚举	类别
Cityscapes (2048x2048)	fcn-alexnet-cityscapes-hd	FCN_ALEXNET_CITYSCAPES_HD	21
Cityscapes (1024x1024)	fcn-alexnet-cityscapes-sd	FCN_ALEXNET_CITYSCAPES_SD	21
Pascal VOC (500x356)	fcn-alexnet-pascal-voc	FCN_ALEXNET_PASCAL_VOC	21
Synthia (CVPR16)	fcn-alexnet-synthia-cvpr	FCN_ALEXNET_SYNTHIA_CVPR	14
Synthia (Summer-HD)	fcn-alexnet-synthia-summer-hd	FCN_ALEXNET_SYNTHIA_SUMMER_HD	14
Synthia (Summer-SD)	fcn-alexnet-synthia-summer-sd	FCN_ALEXNET_SYNTHIA_SUMMER_SD	14
Aerial-FPV (1280x720)	fcn-alexnet-aerial-fpv-720p	FCN_ALEXNET_AERIAL_FPV_720p	2

姿态估计

模型	CLI 参数	NetworkType 枚举	关键点
Pose-ResNet18-Body	resnet18-body	RESNET18_BODY	18
Pose-ResNet18-Hand	resnet18-hand	RESNET18_HAND	21
Pose-DenseNet121-Body	densenet121-body	DENSENET121_BODY	18

动作识别

模型	CLI 参数	类别
Action-ResNet18-Kinetics	resnet18	1040
Action-ResNet34-Kinetics	resnet34	1040

推荐系统要求

• Jetson Nano 开发者套件，配备 JetPack 4.2 或更高版本（Ubuntu 18.04 aarch64）。
• Jetson Nano 2GB 开发者套件，配备 JetPack 4.4.1 或更高版本（Ubuntu 18.04 aarch64）。
• Jetson Orin Nano 开发者套件，配备 JetPack 5.0 或更高版本（Ubuntu 20.04 aarch64）。
• Jetson Xavier NX 开发者套件，配备 JetPack 4.4 或更高版本（Ubuntu 18.04 aarch64）。
• Jetson AGX Xavier 开发者套件，配备 JetPack 4.0 或更高版本（Ubuntu 18.04 aarch64）。
• Jetson AGX Orin 开发者套件，配备 JetPack 5.0 或更高版本（Ubuntu 20.04 aarch64）。
• Jetson TX2 开发者套件，配备 JetPack 3.0 或更高版本（Ubuntu 16.04 aarch64）。
• Jetson TX1 开发者套件，配备 JetPack 2.3 或更高版本（Ubuntu 16.04 aarch64）。

教程中的使用 PyTorch 进行迁移学习部分是从在 Jetson 上运行 PyTorch 来训练深度神经网络的角度出发的，然而相同的 PyTorch 代码也可以在配备 NVIDIA 独立显卡的 PC、服务器或云实例上使用，以实现更快的训练。

额外资源

在此部分列出了深度学习相关的链接和资源：

• ros_deep_learning - TensorRT 推理 ROS 节点
• NVIDIA AI IoT - NVIDIA Jetson GitHub 仓库
• Jetson eLinux Wiki - Jetson eLinux 维基百科

两天打造演示（DIGITS）

注意： 下文中的 DIGITS/Caffe 教程已弃用。建议您参考 Hello AI World 中的使用 PyTorch 进行迁移学习教程。

展开此部分以查看原始的 DIGITS 教程（已弃用）

DIGITS 教程包括在云端或 PC 上训练深度神经网络，以及在 Jetson 上使用 TensorRT 进行推理，整个过程大约需要两天或更长时间，具体取决于系统配置、数据集的下载以及 GPU 的训练速度。

• DIGITS 工作流程
• DIGITS 系统设置
• 在 Jetson 上安装 JetPack
• 从源代码构建项目
• 使用 ImageNet 对图像进行分类
  • 在 Jetson 上使用控制台程序
  • 编写自己的图像识别程序
  • 运行实时摄像头识别演示
  • 使用 DIGITS 重新训练网络
  • 下载图像识别数据集
  • 自定义目标类别
  • 将分类数据集导入 DIGITS
  • 使用 DIGITS 创建图像分类模型
  • 在 DIGITS 中测试分类模型
  • 将模型快照下载到 Jetson
  • 在 Jetson 上加载自定义模型
• 使用 DetectNet 定位物体
  • 在 DIGITS 中格式化检测数据
  • 下载检测数据集
  • 将检测数据集导入 DIGITS
  • 使用 DIGITS 创建 DetectNet 模型
  • 在 DIGITS 中测试 DetectNet 模型的推理能力
  • 将检测模型下载到 Jetson
  • DetectNet 的 TensorRT 补丁
  • 通过命令行检测物体
  • 多类目标检测模型
  • 在 Jetson 上运行实时摄像头检测演示
• 使用 SegNet 进行语义分割
  • 下载航拍无人机数据集
  • 将航拍数据集导入 DIGITS
  • 生成预训练的 FCN-Alexnet
  • 使用 DIGITS 训练 FCN-Alexnet
  • 在 DIGITS 中测试推理模型
  • FCN-Alexnet 的 TensorRT 补丁
  • 在 Jetson 上运行分割模型

^{© 2016-2019 NVIDIA | 目录}

jetson-inference 快速上手指南

jetson-inference 是专为 NVIDIA Jetson 系列嵌入式设备设计的深度学习推理库。它基于 TensorRT 优化，支持通过 C++ 或 Python 调用预训练模型，实现图像分类、物体检测、语义分割、姿态估计等实时视觉任务，并支持使用 PyTorch 进行迁移学习训练。

1. 环境准备

系统要求

• 硬件平台：NVIDIA Jetson 系列 (Nano, TX2, Xavier NX/AGX, Orin Nano/NX/AGX)。
• 操作系统：NVIDIA JetPack SDK (推荐 JetPack 5 或 6，Orin 系列需 JetPack 6)。
• 软件依赖：
  • CUDA & cuDNN (随 JetPack 安装)
  • TensorRT (随 JetPack 安装)
  • PyTorch (用于训练)
  • Docker (推荐用于简化环境配置)

注意：本指南推荐使用官方提供的 Docker 容器运行，以避免复杂的本地依赖冲突。

2. 安装步骤

最快捷的方式是拉取预构建的 Docker 镜像并运行容器。

步骤一：拉取 Docker 镜像

根据你的 Jetson 架构选择对应的镜像（以下以通用指令为例，具体架构标签请参考 NVIDIA NGC 或项目文档）：

docker pull dustynv/jetson-inference:r36.2.0
# 注：r36.2.0 对应 JetPack 6 (Orin), 其他版本请查阅最新 tag

国内开发者提示：如果拉取速度慢，可配置 Docker 国内镜像加速器（如阿里云、腾讯云等）。

步骤二：运行容器

运行容器时需映射摄像头设备、显示服务和当前目录，以便访问本地文件和摄像头：

docker run --runtime nvidia -it --rm --net=host \
  -e DISPLAY=$DISPLAY \
  -v /tmp/.X11-unix:/tmp/.X11-unix \
  -v $(pwd):/workspace \
  --device /dev/video0:/dev/video0 \
  --device /dev/video1:/dev/video1 \
  --device /dev/video2:/dev/video2 \
  --device /dev/video3:/dev/video3 \
  --device /dev/video4:/dev/video4 \
  --device /dev/video5:/dev/video5 \
  --device /dev/video6:/dev/video6 \
  --device /dev/video7:/dev/video7 \
  --device /dev/video8:/dev/video8 \
  --device /dev/video9:/dev/video9 \
  --device /dev/video10:/dev/video10 \
  --device /dev/video11:/dev/video11 \
  --device /dev/video12:/dev/video12 \
  --device /dev/video13:/dev/video13 \
  --device /dev/video14:/dev/video14 \
  --device /dev/video15:/dev/video15 \
  --device /dev/video16:/dev/video16 \
  --device /dev/video17:/dev/video17 \
  --device /dev/video18:/dev/video18 \
  --device /dev/video19:/dev/video19 \
  --device /dev/video20:/dev/video20 \
  --device /dev/video21:/dev/video21 \
  --device /dev/video22:/dev/video22 \
  --device /dev/video23:/dev/video23 \
  --device /dev/video24:/dev/video24 \
  --device /dev/video25:/dev/video25 \
  --device /dev/video26:/dev/video26 \
  --device /dev/video27:/dev/video27 \
  --device /dev/video28:/dev/video28 \
  --device /dev/video29:/dev/video29 \
  --device /dev/video30:/dev/video30 \
  --device /dev/video31:/dev/video31 \
  --device /dev/video32:/dev/video32 \
  --device /dev/video33:/dev/video33 \
  --device /dev/video34:/dev/video34 \
  --device /dev/video35:/dev/video35 \
  --device /dev/video36:/dev/video36 \
  --device /dev/video37:/dev/video37 \
  --device /dev/video38:/dev/video38 \
  --device /dev/video39:/dev/video39 \
  --device /dev/video40:/dev/video40 \
  --device /dev/video41:/dev/video41 \
  --device /dev/video42:/dev/video42 \
  --device /dev/video43:/dev/video43 \
  --device /dev/video44:/dev/video44 \
  --device /dev/video45:/dev/video45 \
  --device /dev/video46:/dev/video46 \
  --device /dev/video47:/dev/video47 \
  --device /dev/video48:/dev/video48 \
  --device /dev/video49:/dev/video49 \
  --device /dev/video50:/dev/video50 \
  --device /dev/video51:/dev/video51 \
  --device /dev/video52:/dev/video52 \
  --device /dev/video53:/dev/video53 \
  --device /dev/video54:/dev/video54 \
  --device /dev/video55:/dev/video55 \
  --device /dev/video56:/dev/video56 \
  --device /dev/video57:/dev/video57 \
  --device /dev/video58:/dev/video58 \
  --device /dev/video59:/dev/video59 \
  --device /dev/video60:/dev/video60 \
  --device /dev/video61:/dev/video61 \
  --device /dev/video62:/dev/video62 \
  --device /dev/video63:/dev/video63 \
  dustynv/jetson-inference:r36.2.0

简化版（仅映射必要设备和目录，视具体摄像头数量调整）：

docker run --runtime nvidia -it --rm --net=host \
  -e DISPLAY=$DISPLAY \
  -v /tmp/.X11-unix:/tmp/.X11-unix \
  -v $(pwd):/workspace \
  --device /dev/video0 \
  dustynv/jetson-inference:r36.2.0

若需从源码构建，请参考官方文档 docs/building-repo-2.md。

3. 基本使用

进入容器后，即可使用内置的命令行工具或编写 Python/C++ 代码。以下是几个核心功能的快速示例。

3.1 图像分类 (Image Classification)

使用预训练的 ResNet-18 模型对单张图片进行分类：

imagenet-console images/grape.jpg output/grape.jpg

实时摄像头分类演示：

imagenet-camera

3.2 物体检测 (Object Detection)

检测图片中的物体（如人、车等）：

detectnet-console images/pedestrian.jpg output/pedestrian.jpg

实时摄像头检测演示：

detectnet-camera

3.3 语义分割 (Semantic Segmentation)

对图像进行像素级分类：

segnet-console images/sunflower.jpg output/sunflower.jpg

3.4 Python 开发示例

在容器内创建 test_inference.py，使用 Python API 进行图像分类：

import jetson.inference
import jetson.utils

# 加载预训练模型
net = jetson.inference.imageNet("resnet18")

# 加载图像
img = jetson.utils.loadImage("images/grape.jpg")

# 执行推理
class_id, confidence, class_name = net.Classify(img)

print(f"识别结果：{class_name} (置信度：{confidence:.2f})")

运行脚本：

python3 test_inference.py

3.5 迁移学习 (训练自定义模型)

项目支持在 Jetson 上直接使用 PyTorch 收集数据并训练模型。例如，收集猫狗数据集并重新训练分类器：

# 启动数据采集工具 (需连接摄像头)
collect-classification-dataset.py --dataset my-cat-dog-dataset

# 训练模型
train-classification.py --dataset my-cat-dog-dataset --model my-model.pth

训练完成后，可直接将生成的模型转换为 TensorRT 引擎进行高速推理。

---

更多高级功能（如姿态估计 poseNet、动作识别 actionNet、WebRTC 推流等）请参考项目官方文档中的 API Reference 及 Code Examples。