LightTrack：一种通用的在线自顶向下人体姿态跟踪框架

更新日期：2020年4月19日：

论文将发表于CVPR 2020关于面向以人为中心的图像/视频合成及第四届Look Into Person (LIP)挑战赛的研讨会。

更新日期：2019年5月16日：新增摄像头演示

[项目页面] [论文] [Github]

借助提供的代码，您可以轻松地：

• 对实时网络摄像头进行在线姿态跟踪。
• 对任意视频进行在线姿态跟踪。
• 复现在PoseTrack'18验证集上的消融实验。
• 在您自己的数据上训练模型。
• 替换姿态估计器或改进数据关联模块，以支持未来的研究。

实际应用场景：

• 监控 / 体育分析 / 安全 / 自动驾驶 / 自拍视频 / 短视频（抖音、TikTok等）

目录

• LightTrack
  • 目录
  • 概述
  • 前提条件
  • 开始使用
    • 实时摄像头演示
    • 任意视频演示
    • 在PoseTrack 2018上验证
    • 在PoseTrack 2018上评估
  • 定性结果
  • 定量结果
    • 在PoseTrack 2017基准测试集（测试集）上的性能
  • 训练
    • 姿态估计模块
    • 姿态匹配模块：SGCN
  • 局限性
  • 引用
  • 参考文献
  • 联系方式

概述

LightTrack是一个高效轻量级的人体姿态跟踪框架，真正实现了在线且通用的自顶向下姿态跟踪。为该论文编写的代码不仅包含了LightTrack框架，还提供了可替换的组件模块，包括检测器、姿态估计器和匹配器。这些模块的代码大多借鉴或改编自Cascaded Pyramid Networks [1]、PyTorch-YOLOv3、st-gcn以及OpenSVAI [3]。

与视觉目标跟踪（VOT）方法不同，在VOT中，视觉特征通常由核函数或CNN特征图隐式表示，而我们则通过递归更新边界框及其对应的姿态来显式地跟踪每个人体姿态。目标的边界框区域是从显式特征——即人体关键点——推断出来的。人体关键点可以被视为一系列特殊的视觉特征。使用姿态作为显式特征的优势包括：

• (1) 显式特征与人体相关且易于解释，与边界框位置有着非常强且稳定的关系。人体姿态直接约束了边界框区域。

• (2) 姿态估计和跟踪任务本身就需要首先预测人体关键点。利用这些预测的关键点来跟踪感兴趣区域几乎是免费的，这种机制使得在线跟踪成为可能。

• (3) 这种方法自然地保持了候选对象的身份，从而大大减轻了系统中数据关联的负担。即使需要进行数据关联，我们也可以重新利用姿态特征进行基于骨骼的姿态匹配。 （在此我们采用**暹罗图卷积网络（SGCN）**来进行高效的身份关联。）

因此，单人姿态跟踪（SPT）和单个视觉目标跟踪（VOT）被整合进一个统一的功能实体中，只需通过一个可替换的单人人体姿态估计模块即可轻松实现。以下是LightTrack框架工作原理的简单步骤说明。

(1). 仅在第一帧进行检测。蓝色边界框表示从关键点推断出的轨迹片段。

(2). 每隔10帧进行一次检测。红色边界框表示关键帧检测。

(3). 多人场景下每隔10帧进行检测：

• 在非关键帧时，每个人的ID会自然保留；
• 在关键帧时，通过空间一致性来关联ID。

更多技术细节请参阅我们的arXiv论文。

前提条件

• 使用提供的Anaconda环境文件设置Python3环境。

  # 此Anaconda环境应包含所有必需的依赖项，包括TensorFlow、PyTorch等。
  conda env create -f environment.yml
  

（可选：自行设置环境）

• 安装PyTorch 1.0.0（或更高版本）及TorchVision。（暹罗图卷积网络）
• 安装TensorFlow 1.12。目前尚未测试TensorFlow v2.0。（人体姿态估计器）
• 安装其他一些包：

  pip install cython opencv-python pillow matplotlib
  

开始使用

• 克隆此仓库并进入dragon lighttrack文件夹：

  git clone https://github.com/Guanghan/lighttrack.git;
  
  # 构建一些必要的工具
  cd lighttrack/lib;
  make;
  
  cd ../graph/torchlight;
  python setup.py install
  
  # 进入lighttrack
  cd ../../
  

• 如果您想训练LightTrack，请先下载COCO数据集和PoseTrack数据集。请注意，此脚本需要一段时间，并会在./data/coco中生成21GB的文件。对于PoseTrack数据集，您可以在验证集上复现我们的消融实验结果。您需要在官方网站注册并创建条目，以便将测试结果提交到服务器。

  sh data/download_coco.sh
  sh data/download_posetrack17.sh
  sh data/download_posetrack18.sh
  

实时摄像头演示

姿态跟踪框架	关键帧检测器	关键帧重识别模块	姿态估计器	FPS
LightTrack	YOLOv3	Siamese GCN	MobileNetv1-Deconv	220* / 15

• 下载权重。

  cd weights;
  bash ./download_weights.sh  # 下载骨干网络（仅用于训练）、检测器、姿态估计器、姿态匹配器等的权重
  cd -;
  

• 在您的网络摄像头上进行姿态跟踪演示。

  # 进入虚拟环境
  source activate py36;
  
  # 使用轻量级检测器和姿态估计器运行 LightTrack 演示（摄像头）
  python demo_camera_mobile.py
  

任意视频演示

姿态跟踪框架	关键帧检测器	关键帧重识别模块	姿态估计器	FPS
LightTrack	YOLOv3	Siamese GCN	MobileNetv1-Deconv	220* / 15

• 下载演示视频。

  cd data/demo;
  bash ./download_demo_video.sh  # 下载演示视频；您之后也可以用自己的视频替换，以增加趣味性
  cd -;
  

• 运行在线跟踪演示。

  # 进入虚拟环境
  source activate py36;
  
  # 使用轻量级检测器和姿态估计器运行 LightTrack 演示（任意视频）
  python demo_video_mobile.py
  

• 处理完成后，姿态跟踪结果将以标准化的 OpenSVAI 格式存储为 JSON 文件，位于 [data/demo/jsons/]。

• 可视化图像和视频已输出至 [data/demo/visualize/] 和 [data/demo/videos/]。请注意，默认情况下视频会以实际平均帧率输出，您可以根据需要将其硬编码为更快或更慢的帧率。

• 系统还会报告一些统计数据，包括 FPS、遇到的人数等。以下是使用 YOLOv3 作为检测器、MobileNetv1-Deconv 作为姿态估计器时，所提供视频的统计信息。

total_time_ALL: 19.99s
total_time_DET: 1.32s
total_time_POSE: 18.63s
total_time_LIGHTTRACK: 0.04s
total_num_FRAMES: 300
total_num_PERSONS: 600

Average FPS: 15.01fps
Average FPS excluding Pose Estimation: 220.08fps
Average FPS excluding Detection: 16.07fps
Average FPS for framework only: 7261.90fps

您可以将演示视频替换为自己喜欢的视频来体验。也可以尝试不同的检测器或姿态估计器。

在 PoseTrack 2018 数据集上验证

已提供姿态估计模型。在运行 ./download_weights.sh 脚本时，这些模型应已下载到 ./weights 文件夹中。 我们提供了 CPN101 和 MSRA152 的替代方案，分别基于 ResNet101 和 Res152 预训练。

图像尺寸	姿态估计器	权重
384x288	CPN101 [1]	CPN_snapshot_293.ckpt
384x288	MSRA152 [2]	MSRA_snapshot_285.ckpt

PoseTrack'18 验证集的检测结果已预先计算好。我们在实验中使用了来自 [3] 的相同检测结果。 有两种选择，包括 FPN 和 RFCN 的可变形版本，如 论文 中所述。 这里我们提供的是性能更高的 FPN 检测结果。

检测器	Jsons
ResNet101_Deformable_FPN_RCNN [6]	DeformConv_FPN_RCNN_detect.zip
ResNet101_Deformable_RFCN [6]	DeformConv_RFCN_detect.zip
真实标注位置	GT_detect.zip

• 下载预先计算好的检测结果，并将其解压到 ./data 目录。

  cd data;
  bash ./download_dets.sh   
  cd -;
  

• 使用我们的可变形 FPN 检测结果，在 PoseTrack 2018 验证集上运行 LightTrack。

  python process_posetrack18_with_lighttrack_MSRA152.py
  # 或
  python process_posetrack18_with_lighttrack_CPN101.py
  

• 或者使用真实标注位置，在 PoseTrack 2018 验证集上运行 LightTrack。

  python process_posetrack18_with_lighttrack_MSRA152_gt.py
  # 或
  python process_posetrack18_with_lighttrack_CPN101_gt.py
  

• 处理完成后，姿态跟踪结果将以标准化的 OpenSVAI 格式存储为 JSON 文件，位于 [data/Data_2018/posetrack_results/lighttrack/results_openSVAI/]。

• 可视化图像和视频已输出至 [data/Data_2018/videos/]。

PoseTrack 2018 评估

• 如果您希望使用检测结果来评估 LightTrack 的预测结果：

  # 在评估之前，将跟踪结果转换为 PoseTrack 格式
  source activate py36;
  python jsonformat_std_to_posetrack18.py -e 0.4 -d lighttrack -m track -f 17 -r 0.80;  # 验证集。用于 DET 位置
  
  # 评估任务 1/2 + 3：使用官方 poseval 工具
  source deactivate;
  cd data/Data_2018/poseval/py && export PYTHONPATH=$PWD/../py-motmetrics:$PYTHONPATH;
  python evaluate.py \
   --groundTruth=/export/LightTrack/data/Data_2018/posetrack_data/annotations/val/ \
   --predictions=/export/LightTrack/data/Data_2018/predictions_lighttrack/ \
   --evalPoseTracking \
   --evalPoseEstimation;
  

对于 mAP，给出了两个值：关键点丢弃前后的平均精度。 对于 FPS，* 表示不包括姿态推理时间。我们的 LightTrack 在真正的在线模式下，在 PoseTrack'18 验证集上的平均帧率为 0.8 fps。

[LightTrack_CPN101] 和 [LightTrack_MSRA152] 均使用 [COCO + PoseTrack'17] 数据集进行训练； [LightTrack_MSRA152 + 辅助数据] 使用 [COCO + PoseTrack'18 + ChallengerAI] 数据集进行训练。

方法	检测模式	FPS	mAP	MOTA	MOTP
LightTrack_CPN101	在线-DET-2F	47* / 0.8	76.0 / 70.3	61.3	85.2
LightTrack_MSRA152	在线-DET-2F	48* / 0.7	77.2 / 72.4	64.6	85.3
LightTrack_MSRA152 + 辅助	在线-DET-2F	48* / 0.7	77.7 / 72.7	65.4	85.1

• 如果您希望使用真实标注位置来评估 LightTrack 的预测结果。请注意，对于真实标注位置，并非每一帧都有标注。如果关键帧没有标注，则估计结果会缺失。为了成功评估性能，我们专门为使用真实标注位置的预测生成了真实标注 JSON 文件 (gt_locations)。

  # 在评估之前，将跟踪结果转换为 PoseTrack 格式
  source activate py36;
  python jsonformat_std_to_posetrack18.py -e 0.4 -d lighttrack -m track -f 17 -r 0.70;  # 验证集。用于 GT 位置
  
  # 评估任务 1/2 + 3：使用官方 poseval 工具
  source deactivate;
  cd data/Data_2018/poseval/py && export PYTHONPATH=$PWD/../py-motmetrics:$PYTHONPATH;
  python evaluate.py \
   --groundTruth=/export/LightTrack/data/Data_2018/gt_lighttrack/ \
   --predictions=/export/LightTrack/data/Data_2018/predictions_lighttrack/ \
   --evalPoseTracking \
   --evalPoseEstimation;
  

方法	检测模式	FPS	mAP	MOTA	MOTP
LightTrack_CPN101	在线-GT-2F	47* / 0.8	- / 70.1	73.5	94.7
LightTrack_MSRA152	在线-GT-2F	48* / 0.7	- / 73.1	78.0	94.8

定性结果

一些展示定性结果的 gif：

• (1) PoseTrack 测试序列

姿态跟踪框架	关键帧检测器	关键帧 ReID 模块	姿态估计器
LightTrack	可变形 FPN（重型）	连体 GCN	MSRA152（重型）

• (2) 潜在应用（监控、体育分析等）

姿态跟踪框架	关键帧检测器	关键帧 ReID 模块	姿态估计器
LightTrack	YOLOv3（轻型）	连体 GCN	MobileNetv1-Deconv（轻型）

PoseTrack 上的定量结果

在 PoseTrack 2017 基准测试（测试集） 上的表现

挑战 3：多人姿态跟踪

方法	模式	FPS	mAP	MOTA
LightTrack（离线集成）	批处理	-	66.65	58.01
HRNet [4], CVPR'19	批处理	-	74.95	57.93
FlowTrack [2], ECCV'18	批处理	-	74.57	57.81
LightTrack（在线-3F）	在线	47* / 0.8	66.55	55.15
PoseFlow [5], BMVC'18	在线	10* / -	62.95	50.98

对于 FPS，* 表示不包括姿态推理时间，- 表示不适用。我们的 LightTrack 在真正的在线模式下，在 PoseTrack'18 验证集上的平均帧率为 0.8 fps。 （总共遇到了 57,928 人。平均每帧跟踪 6.54 人。）

模型使用 [COCO + PoseTrack'17] 数据集进行训练。

训练

1) 姿态估计模块

• 要进行训练，请获取一个 ImageNet 预训练模型并将其放入 ./weights 目录中。
  • 对于 Resnet101，从 这里 下载 resnet101.ckpt。
  • 对于 Resnet152，从 这里 下载 resnet152.ckpt。
• 运行以下训练命令。

# 使用 COCO+PoseTrack'17 进行训练
python train_PoseTrack_COCO_17_CPN101.py -d 0-3 -c   # 训练 CPN-101
# 或
python train_PoseTrack_COCO_17_MSRA152.py -d 0-3 -c  # 训练 MSRA-152
# 或
python train_PoseTrack_COCO_17_mobile_deconv.py -d 0-3 -c  # 训练 MobileNetv1-Deconv

2) 姿态匹配模块

• 运行以下训练命令。

# 下载训练和验证数据
cd graph/unit_test;
bash download_data.sh;
cd -;

# 训练暹罗图卷积网络
cd graph;
python main.py processor_siamese_gcn -c config/train.yaml

为了对姿态匹配模块进行消融实验，在不修改现有代码的情况下，最简单的方法是将姿态匹配阈值设置为小于零的值，这样就会使姿态匹配模块失效。此时，PoseTrack'18验证集上的性能将会下降。

方法	检测模式	姿态匹配（阈值）	mAP	MOTA	MOTP
LightTrack_MSRA152	在线检测	否 (0)	77.2 / 72.4	63.3	85.3
LightTrack_MSRA152	在线检测	是 (1.0)	77.2 / 72.4	64.6	85.3
LightTrack_CPN101	在线检测	否 (0)	76.0 / 70.3	60.0	85.2
LightTrack_CPN101	在线检测	是 (1.0)	76.0 / 70.3	61.3	85.2

• 由于暹罗图卷积模块仅影响身份关联过程，因此只有MOTA指标会受到影响。

• 具体来说，SGCN有助于减少在相机快速变焦或突然移动时出现的身份错配或身份丢失的情况，在这种情况下，人体可能会发生漂移，空间一致性不再可靠。

• 如果没有SGCN，当身份丢失时，系统会分配一个新的ID，这会导致与真实标签的身份错配。

局限性

目前，LightTrack框架在处理遮挡情况下的身份切换或丢失问题上表现不佳，原因有以下几点： (1) 数据关联过程中只考虑了单帧的历史信息； (2) 只使用基于骨骼的关键点特征。 然而，这些问题并不是LightTrack框架本身固有的缺陷。 在未来的研究中，可以进一步探索时空姿态匹配方法来缓解遮挡问题。使用更长的历史姿态序列可能会提高性能；同时结合视觉特征和骨骼特征也可能进一步提升数据关联模块的鲁棒性。

引用

如果您觉得LightTrack有所帮助，或者在您的工作中使用了该框架，请考虑引用以下文献：

@article{ning2019lighttrack,
  author    = {Ning, Guanghan and Huang, Heng},
  title     = {LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking,
  journal   = {Proceedings of CVPRW 2020 on Towards Human-Centric Image/Video Synthesis and the 4th Look Into Person (LIP) Challenge},
  year      = {2020},
}

此外，如果您使用了CPN101/MSRA152模型，也请参考以下文献：

@inproceedings{xiao2018simple,
    author={Xiao, Bin and Wu, Haiping and Wei, Yichen},
    title={Simple Baselines for Human Pose Estimation and Tracking},
    booktitle = {ECCV},
    year = {2018}
}
@article{Chen2018CPN,
    Author = {Chen, Yilun and Wang, Zhicheng and Peng, Yuxiang and Zhang, Zhiqiang and Yu, Gang and Sun, Jian},
    Title = {{Cascaded Pyramid Network for Multi-Person Pose Estimation}},
    Conference = {CVPR},
    Year = {2018}
}

---

参考文献

[1] Chen, Yilun, et al. "多人体姿态估计的级联金字塔网络." CVPR (2018).

[2] Xiao, Bin, Haiping Wu, and Yichen Wei. "人体姿态估计与跟踪的简单基线." ECCV (2018).

[3] Ning, Guanghan, et al. "自上而下的关节式人体姿态估计与跟踪方法". ECCVW (2018).

[4] Sun, Ke, et al. "用于人体姿态估计的深度高分辨率表征学习." CVPR (2019).

[5] Xiu, Yuliang, et al. "姿态流：高效在线姿态跟踪." BMVC (2018).

[6] Dai, Jifeng, et al. "可变形卷积网络." ICCV (2017).

联系方式

如有关于我们的论文或代码的问题，请联系 Guanghan Ning。

致谢

LOGO设计：Hogen

LightTrack 快速上手指南

LightTrack 是一个轻量级、通用的在线自顶向下人体姿态跟踪框架。本指南将帮助你快速配置环境并运行演示。

1. 环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS
• Python: Python 3.6+
• GPU: 支持 CUDA 的 NVIDIA 显卡（用于加速推理和训练）

前置依赖

本项目同时依赖 TensorFlow (用于姿态估计) 和 PyTorch (用于图卷积匹配模块)。

• TensorFlow: 1.12 (暂未测试 v2.0)
• PyTorch: 1.0.0 或更高版本
• 其他库: Cython, OpenCV, Pillow, Matplotlib

提示: 推荐使用项目提供的 environment.yml 文件一键配置 Conda 环境，以避免版本冲突。

2. 安装步骤

第一步：克隆代码库

git clone https://github.com/Guanghan/lighttrack.git
cd lighttrack

第二步：配置 Conda 环境（推荐）

使用官方提供的环境文件创建隔离环境，这将自动安装 TensorFlow、PyTorch 及其他依赖。

conda env create -f environment.yml
source activate py36

(可选) 若需手动安装环境，请确保安装 PyTorch 1.0+、TensorFlow 1.12 以及 cython opencv-python pillow matplotlib。

第三步：编译必要组件

进入目录编译 C++ 扩展并安装 torchlight 模块：

# 编译 lib 下的必要组件
cd lib
make
cd ../graph/torchlight

# 安装 torchlight
python setup.py install

# 返回根目录
cd ../../

第四步：下载预训练权重

下载检测器、姿态估计器和匹配器等模型的权重文件：

cd weights
bash ./download_weights.sh
cd -

3. 基本使用

以下示例展示如何最简单的运行实时摄像头演示。

运行实时摄像头演示

确保已激活虚拟环境，然后运行轻量级模型（MobileNetv1 + YOLOv3）进行实时姿态跟踪：

# 激活环境
source activate py36

# 启动摄像头演示
python demo_camera_mobile.py

运行视频文件演示

若需对本地视频文件进行处理：

1. 下载示例视频（也可替换为自己的视频）：

   cd data/demo
   bash ./download_demo_video.sh
   cd -
   

2. 执行跟踪：

   source activate py36
   python demo_video_mobile.py
   

输出结果：

• 可视化图片：data/demo/visualize/
• 输出视频：data/demo/videos/
• JSON 格式数据：data/demo/jsons/ (OpenSVAI 标准格式)

运行结束后，终端将统计 FPS、检测到的人数等性能指标。默认配置下，框架本身的处理速度极快，瓶颈主要在于姿态估计模块。