trt_pose

想检测手部姿态吗？请查看全新的 trt_pose_hand 项目，它支持实时的手部姿态和手势识别！

trt_pose 的目标是在 NVIDIA Jetson 上实现实时姿态估计。您也可能发现它在其他 NVIDIA 平台上同样有用。目前该项目包括：

• 预训练的人体姿态估计模型，能够在 Jetson Nano 上以实时帧率运行。这使得检测诸如 left_eye、left_elbow、right_ankle 等关键点变得非常容易。

• 用于训练任何采用 MSCOCO 格式的关键点任务数据的脚本。这意味着您可以尝试训练 trt_pose 来完成除人体姿态之外的其他关键点检测任务。

要开始使用，请按照以下说明操作。如果您遇到任何问题，请告诉我们。

入门指南

要开始使用 trt_pose，请按照以下步骤操作。

第 1 步 - 安装依赖项

1. 安装 PyTorch 和 Torchvision。在 NVIDIA Jetson 上安装时，我们建议遵循此指南。

2. 安装 torch2trt

   git clone https://github.com/NVIDIA-AI-IOT/torch2trt
   cd torch2trt
   sudo python3 setup.py install --plugins
   

3. 安装其他杂项包

   sudo pip3 install tqdm cython pycocotools
   sudo apt-get install python3-matplotlib
   

第 2 步 - 安装 trt_pose

git clone https://github.com/NVIDIA-AI-IOT/trt_pose
cd trt_pose
sudo python3 setup.py install

第 3 步 - 运行示例笔记本

我们提供了几个基于 MSCOCO 数据集预训练的人体姿态估计模型。每个平台的 FPS 吞吐量如下所示：

模型	Jetson Nano	Jetson Xavier	权重
resnet18_baseline_att_224x224_A	22	251	下载 (81MB)
densenet121_baseline_att_256x256_B	12	101	下载 (84MB)

要运行实时摄像头输入的 Jupyter Notebook 演示，请按照以下步骤操作：

1. 使用上表中的链接下载模型权重。

2. 将下载的权重文件放入 tasks/human_pose 目录中。

3. 打开并按照 live_demo.ipynb 笔记本操作。

   您可能需要根据所使用的模型对笔记本进行一些修改。

参阅

• trt_pose_hand - 基于 trt_pose 的实时手部姿态估计

• torch2trt - 一个易于使用的 PyTorch 到 TensorRT 转换器

• JetBot - 基于 NVIDIA Jetson Nano 的教育型 AI 机器人

• JetRacer - 使用 NVIDIA Jetson Nano 的教育型 AI 赛车

• JetCam - 适用于 NVIDIA Jetson 的易用 Python 相机接口

参考文献

上述列出的 trt_pose 模型架构受到以下工作的启发，但并非直接复刻。有关架构细节，请查阅本仓库中的开源代码和配置文件。如有任何疑问，欢迎随时联系我们。

• Cao, Zhe, et al. "Realtime multi-person 2d pose estimation using part affinity fields." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017.

• Xiao, Bin, Haiping Wu, and Yichen Wei. "Simple baselines for human pose estimation and tracking." Proceedings of the European Conference on Computer Vision (ECCV). 2018.

trt_pose 快速上手指南

trt_pose 是 NVIDIA 推出的开源项目，旨在让 NVIDIA Jetson 系列设备（如 Jetson Nano、Xavier）能够实时运行人体姿态估计模型。它支持检测关键点（如左眼、手肘、脚踝等），并提供了基于 MSCOCO 格式数据的训练脚本，方便开发者扩展到其他关键点检测任务。

环境准备

在开始之前，请确保你拥有以下环境和硬件：

• 硬件平台：NVIDIA Jetson 系列开发板（推荐 Jetson Nano 或 Xavier）。
• 系统要求：JetPack SDK (包含 CUDA, cuDNN, TensorRT)。
• 前置依赖：
  1. PyTorch 和 Torchvision：请务必根据 NVIDIA 官方指南安装适配 Jetson 的版本。
     • 参考指南：NVIDIA 论坛 PyTorch 安装教程
  2. 基础工具库：需要安装 tqdm, cython, pycocotools 以及 matplotlib。

安装步骤

请按顺序执行以下命令完成环境配置和项目安装。

1. 安装 torch2trt

trt_pose 依赖 torch2trt 将 PyTorch 模型转换为 TensorRT 引擎以加速推理。

git clone https://github.com/NVIDIA-AI-IOT/torch2trt
cd torch2trt
sudo python3 setup.py install --plugins

2. 安装其他依赖包

sudo pip3 install tqdm cython pycocotools
sudo apt-get install python3-matplotlib

提示：国内用户若下载 pip 包较慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数使用清华镜像源。

3. 安装 trt_pose

克隆本项目并进行安装：

git clone https://github.com/NVIDIA-AI-IOT/trt_pose
cd trt_pose
sudo python3 setup.py install

基本使用

本项目提供了预训练好的模型权重，可直接在 Jetson 设备上运行实时摄像头演示。

1. 下载预训练模型

根据你的硬件性能选择合适的模型，下载对应的权重文件：

模型名称	Jetson Nano (FPS)	Jetson Xavier (FPS)	下载链接
resnet18_baseline_att_224x224_A	22	251	下载 (81MB)
densenet121_baseline_att_256x256_B	12	101	下载 (84MB)

注意：Google Drive 在国内访问可能受限，建议寻找国内网盘搬运资源或使用代理下载。

2. 部署权重文件

将下载好的权重文件（.pth 文件）移动到项目指定的目录中：

# 假设你在 trt_pose 根目录下
mv <下载的文件名>.pth tasks/human_pose/

3. 运行演示 Notebook

进入任务目录并启动 Jupyter Notebook 进行实时演示：

cd tasks/human_pose
jupyter notebook live_demo.ipynb

在浏览器打开 live_demo.ipynb 后，请根据你下载的模型类型，适当修改 Notebook 中的模型加载路径和配置，然后依次运行单元格即可看到摄像头实时姿态识别效果。