pytorch-openpose

基于 PyTorch 的 OpenPose 实现，包括 人体和手部姿态估计。该 PyTorch 模型直接由 OpenPose 的 Caffe 模型通过 caffemodel2pytorch 转换而来。如果您感兴趣，也可以用同样的方法实现人脸关键点检测。需要注意的是，人脸关键点检测器是按照 [Simon et al. 2017] 中针对手部描述的流程进行训练的。

OpenPose 是通过人体姿态估计的结果来检测手部的，请参考 handDetector.cpp 的代码。论文中这样写道：

这是一个重要的细节：要在任何实际场景中使用关键点检测器，我们需要一种生成边界框的方法。我们直接使用来自 [29] 和 [4] 的人体姿态估计模型，并利用手腕和肘部的位置来近似手部位置，假设手部沿同一方向延伸至前臂长度的 0.15 倍。

如果有人想要一个纯 Python 封装，可以参考我的 OpenPose PyTorch 实现，或许能帮助您实现一个独立的手部关键点检测器。

如果您觉得这个项目对研究有帮助，请不要吝啬给它点个 Star！

快速开始

安装依赖

创建一个 Python 3.7 环境，例如：

conda create -n pytorch-openpose python=3.7
conda activate pytorch-openpose

按照这里的快速入门指南安装 PyTorch（使用 pip）：https://download.pytorch.org/whl/torch_stable.html

然后使用 pip 安装其他依赖：

pip install -r requirements.txt

下载模型

• Dropbox
• 百度网盘
• Google Drive

.pth 文件是 PyTorch 模型，您也可以下载 Caffe 模型文件，以便使用 Caffe 作为后端。

将 PyTorch 模型下载并放置在项目根目录下的 model 文件夹中。

运行示例

运行以下命令以使用您的摄像头进行演示：

python demo_camera.py

或者运行：

python demo.py

以使用 images 文件夹中的图片；也可以运行：

python demo_video.py <video-file>

来处理视频文件（需要 ffmpeg-python）。

待办事项

• 将 Caffe 模型转换为 PyTorch 格式。
• 人体姿态估计。
• 手部姿态估计。
• 性能测试。
• 加快速度。

示例

骨骼图

人体姿态估计

手部姿态估计

人体 + 手部

视频中的人体

鸣谢：此视频。

视频中的手部

鸣谢：此视频。

引用

如果您在论文或研究中使用了本项目，请引用以下文献（人脸关键点检测器是按照 [Simon et al. 2017] 中针对手部描述的流程训练的）：

@inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
}

@inproceedings{simon2017hand,
  author = {Tomas Simon and Hanbyul Joo and Iain Matthews and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Hand Keypoint Detection in Single Images using Multiview Bootstrapping},
  year = {2017}
}

@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
}

pytorch-openpose 快速上手指南

pytorch-openpose 是 OpenPose 的 PyTorch 实现版本，支持人体姿态估计和手部姿态估计。该项目的模型直接由官方 Caffe 模型转换而来，可轻松集成到 Python 项目中。

环境准备

• 操作系统: Linux / macOS / Windows
• Python 版本: 推荐 3.7
• 核心依赖: PyTorch, OpenCV, NumPy
• 可选依赖: ffmpeg-python (用于处理视频文件)

安装步骤

1. 创建虚拟环境

建议使用 Conda 创建独立的 Python 3.7 环境：

conda create -n pytorch-openpose python=3.7
conda activate pytorch-openpose

2. 安装 PyTorch

请根据你的 CUDA 版本访问 PyTorch 官网 获取安装命令。若无需 GPU 加速或使用默认配置，可使用 pip 安装：

pip install torch torchvision torchaudio

国内加速提示：如遇下载缓慢，可使用清华源或阿里源： pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装其他依赖

克隆本项目后，进入目录并安装 requirements：

pip install -r requirements.txt

若需处理视频文件，请额外安装 ffmpeg-python：

pip install ffmpeg-python

(注意：系统层面仍需安装 FFmpeg 工具)

4. 下载预训练模型

将下载的模型文件放入项目根目录下的 model 文件夹中。

• 百度网盘 (推荐国内用户): 点击下载
• Dropbox: 链接
• Google Drive: 链接

确保目录结构如下：

pytorch-openpose/
├── model/
│   ├── pose_iter_440000.pth  (示例文件名，具体以实际下载为准)
│   └── ...
├── demo.py
└── ...

基本使用

安装完成后，可通过以下命令运行演示：

1. 调用摄像头实时检测

python demo_camera.py

2. 检测单张图片 将图片放入 images 文件夹，然后运行：

python demo.py

3. 处理视频文件

python demo_video.py <video-file>

例如：python demo_video.py input.mp4

运行成功后，程序将输出包含人体骨架和手部关键点标注的结果图像或视频。