openpifpaf

在 Linux、MacOS 和 Windows 上持续测试：
新 2021 年论文：

OpenPifPaf：用于语义关键点检测与时空关联的复合场
Sven Kreiss, Lorenzo Bertoni, Alexandre Alahi, 2021。

许多基于图像的感知任务都可以被表述为检测、关联和跟踪语义关键点，例如人体姿态估计与跟踪。在本工作中，我们提出了一种通用框架，能够在单个阶段内联合检测并形成时空关键点关联，从而成为首个实时姿态检测与跟踪算法。我们设计了一种通用的神经网络架构，利用复合场来检测并构建一个时空姿态，该姿态是一个单一的连通图，其节点是多个帧中的语义关键点（例如人体关节）。对于时间上的关联，我们引入了时间复合关联场（TCAF），这需要扩展的网络架构和训练方法，超越了以往的复合场。实验表明，在 COCO、CrowdPose 以及 PoseTrack 2017 和 2018 数据集等多个公开数据集上，我们的方法在保持竞争力的同时，速度提升了一个数量级。此外，我们还证明了该方法可以泛化到任何语义关键点类别，如汽车和动物部件，从而提供一个适用于城市移动场景（如自动驾驶汽车和配送机器人）的整体感知框架。

之前的 CVPR 2019 论文。

指南

详细文档请参阅我们的 OpenPifPaf 指南。 对于开发者而言，还有 DEV 指南 ，它与主指南内容相同，但基于 main 分支中的最新代码。

示例

图片来源：“学习冲浪” by fotologic，采用 CC-BY-2.0 许可。
创建命令：

pip3 install matplotlib openpifpaf
python3 -m openpifpaf.predict docs/coco/000000081988.jpg --image-output

---

以下是关于身体、脚部、面部和手部关键点的教程：链接。示例：

图片来源：照片 by Lokomotive74，采用 [CC-BY-4.0] 许可。
创建命令：

python -m openpifpaf.predict guide/wholebody/soccer.jpeg \
  --checkpoint=shufflenetv2k30-wholebody --line-width=2 --image-output

---

以下是关于汽车关键点的教程：链接。示例：

图片来源：照片 by Ninaras，采用 [CC-BY-SA 4.0] 许可。

创建命令：

python -m openpifpaf.predict guide/images/peterbourg.jpg \
  --checkpoint shufflenetv2k16-apollo-24 -o images \
  --instance-threshold 0.05 --seed-threshold 0.05 \
  --line-width 4 --font-size 0

---

以下是关于动物关键点（狗、猫、羊、马和牛）的教程：链接。示例：

python -m openpifpaf.predict guide/images tappo_loomo.jpg \
  --checkpoint=shufflenetv2k30-animalpose \
  --line-width=6 --font-size=6 --white-overlay=0.3 \
  --long-edge=500

商业许可

开源许可证见 LICENSE 文件。 该软件也可通过 EPFL 技术转移办公室（https://tto.epfl.ch/, info.tto@epfl.ch）进行授权许可。

OpenPifPaf 快速上手指南

OpenPifPaf 是一个用于语义关键点检测（如人体姿态估计）和时空关联追踪的实时框架。它支持检测人体、全身（含手/脸/脚）、车辆及动物等多种目标的关键点。

环境准备

• 操作系统：Linux, MacOS 或 Windows。
• Python 版本：推荐 Python 3.8 及以上版本。
• 前置依赖：
  • pip 包管理工具。
  • matplotlib（用于可视化结果）。
  • PyTorch（安装 openpifpaf 时会自动处理相关依赖，但需确保系统已安装兼容的 CUDA 驱动以使用 GPU 加速，若仅使用 CPU 则无需额外配置）。

提示：国内开发者建议使用清华源或阿里源加速 pip 安装过程。

安装步骤

使用 pip 直接安装最新稳定版及必要的可视化库：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib openpifpaf

若需使用开发版功能，可参考官方 DEV Guide 从源码安装，通常稳定版已满足大多数需求。

基本使用

1. 人体姿态估计（默认模型）

这是最简单的用法，对单张图片进行人体关键点检测并生成带标注的输出图片。

python3 -m openpifpaf.predict docs/coco/000000081988.jpg --image-output

执行后将在当前目录生成带有姿态预测叠加层的图片文件。

2. 全身关键点检测（含手、脸、脚）

使用预训练的全身模型（WholeBody）以获得更精细的关键点：

python -m openpifpaf.predict guide/wholebody/soccer.jpeg \
  --checkpoint=shufflenetv2k30-wholebody --line-width=2 --image-output

3. 其他特定目标检测

OpenPifPaf 还支持车辆和动物检测，只需切换对应的 checkpoint 参数：

• 车辆关键点：

  python -m openpifpaf.predict guide/images/peterbourg.jpg \
    --checkpoint shufflenetv2k16-apollo-24 -o images \
    --instance-threshold 0.05 --seed-threshold 0.05 \
    --line-width 4 --font-size 0
  

• 动物关键点（狗、猫等）：

  python -m openpifpaf.predict guide/images tappo_loomo.jpg \
    --checkpoint=shufflenetv2k30-animalpose \
    --line-width=6 --font-size=6 --white-overlay=0.3 \
    --long-edge=500
  

更多详细参数配置及高级用法（如视频流处理、自定义阈值），请参阅 OpenPifPaf 官方文档。