Social-STGCNN：用于人类轨迹预测的社会时空图卷积神经网络

阿卜杜拉·穆罕默德，钱坤

穆罕默德·埃尔霍赛尼** ，克里斯蒂安·克劳德尔**

^** 共同指导

阅读完整论文 此处, 发表于 CVPR 2020

欢迎查看我们在运动预测领域的最新工作，采用全新指标（ECCV2022）：Social-Implicit https://github.com/abduallahmohamed/Social-Implicit

Social-STGCNN

我们提出了社会时空图卷积神经网络（Social-STGCNN），将人类轨迹预测问题建模为一个时空图。实验结果表明，在最终位移误差（FDE）上较当前最优方法提升了20%，而在平均位移误差（ADE）上则以仅需原方法8.5分之一的参数量和最高可达48倍的推理速度实现了显著提升。此外，我们的模型具有数据高效性，仅使用20%的训练数据便在ADE指标上超越了先前的最先进水平。我们还提出了一种核函数，用于将行人之间的社交交互关系嵌入到邻接矩阵中。

我们的模型推理速度仅为0.002秒/帧（500Hz），且仅需7.6K个参数。

引用

您可以通过以下方式引用我们的论文：

@inproceedings{mohamed2020social,
  title={Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction},
  author={Mohamed, Abduallah and Qian, Kun and Elhoseiny, Mohamed and Claudel, Christian},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={14424--14432},
  year={2020}
}

模型

Social-STGCNN模型由两个核心模块组成：
1- ST-GCNN：一种时空图卷积网络，用于构建表示历史行人轨迹的时空图嵌入。
2- TXP-CNN：一种时间外推卷积网络，利用时空图嵌入来预测未来的轨迹。

更多细节请观看本介绍视频：

预测示例

环境配置：

代码使用Python 3.6编写。运行代码所需的最低依赖库如下：

import pytorch
import networkx
import numpy
import tqdm

或者您也可以通过运行以下命令一次性安装所有依赖：

pip install -r requirements.txt

使用代码：

要使用checkpoint/目录下的预训练模型并评估其性能，请运行：

test.py

若要按照论文中的最佳配置为每个数据集训练模型，只需运行：

./train.sh  

请注意：由于代码会创建缓存以存储时空图，因此训练和测试的初始化过程可能需要一些时间。
CVPR正式版本：https://github.com/abduallahmohamed/Social-STGCNN/tree/ebd57aaf34d84763825d05cf9d4eff738d8c96bb

欢迎查看我们在3D运动预测方面的研究工作（ICCV2021）：https://github.com/abduallahmohamed/Skeleton-Graph

Social-STGCNN 快速上手指南

Social-STGCNN 是一种用于人类轨迹预测的社会时空图卷积神经网络。该模型在保持高精度的同时，显著减少了参数量并提升了推理速度（高达 500Hz）。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 3.6（原文开发环境）
• 核心依赖：
  • PyTorch
  • NetworkX
  • NumPy
  • tqdm

安装步骤

1. 克隆项目代码到本地：

   git clone https://github.com/abduallahmohamed/Social-STGCNN.git
   cd Social-STGCNN
   

2. 安装依赖库。

   方式一（推荐）：使用国内镜像源加速安装

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   方式二：手动安装最小依赖集

   pip install torch networkx numpy tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

1. 评估预训练模型

使用 checkpoint/ 目录下的预训练模型进行性能评估：

python test.py

注意：首次运行时，代码需要构建并缓存时空图数据，初始化过程可能需要一些时间。

2. 训练新模型

使用论文中的最佳配置对数据集进行训练：

./train.sh

注意：同样，训练启动阶段会因创建时空图缓存而耗时较长，请耐心等待。

3. 指定版本（可选）

如需复现 CVPR 2020 论文的精确版本，可切换至特定 commit：

git checkout ebd57aaf34d84763825d05cf9d4eff738d8c96bb