PyTorch 实现的热门双流框架用于视频动作识别

当前版本为“面向深度双流卷积网络的良好实践”项目的 PyTorch 实现版本。更多详细信息，请参阅论文 Arxiv。

如果您在工作中发现此实现非常有用，请务必予以适当认可，并按要求引用相关论文或代码：

@article{zhu_arxiv2020_comprehensiveVideo,
  title={深度视频动作识别的全面研究},
  author={Yi Zhu, Xinyu Li, Chunhui Liu, Mohammadreza Zolfaghari, Yuanjun Xiong, Chongruo Wu, Zhi Zhang, Joseph Tighe, R. Manmatha, Mu Li},
  journal={arXiv预印本 arXiv:2012.06567},
  year={2020}
}

@inproceedings{wang_eccv2016_tsn,
  title={时间片段网络：迈向深度动作识别的良好实践},
  author={Limin Wang, Yuanjun Xiong, Zhe Wang, Yu Qiao, Dahua Lin, Xiaoou Tang, Luc Van Gool},
  booktitle={欧洲计算机视觉大会 (ECCV)},
  year={2016}
}

@inproceedings{zhu_accv2018_hidden,
  title={用于动作识别的隐藏双流卷积网络},
  author={Yi Zhu, Zhenzhong Lan, Shawn Newsam, Alexander G. Hauptmann},
  booktitle={亚洲计算机视觉大会 (ACCV)},
  url={https://arxiv.org/abs/1704.00389}
  year={2018}
}

如果您正在寻找一款功能强大、模型库丰富的优质代码库，欢迎前往 GluonCV 查看。我们不仅提供了多种热门数据集（如 Kinetics400、UCF101、Something-Something-v2 等）的 SOTA 模型实现（TSN、I3D、NLN、SlowFast 等），还支持 PyTorch 和 MXNet 两种框架。此外，我们还发布了配套的 综述论文 和 视频教程。

安装

已在 PyTorch 上进行测试：

操作系统：Ubuntu 16.04
Python 版本：3.5
CUDA 版本：8.0
OpenCV3
dense_flow

若要成功安装 dense_flow(分支名为 opencv-3.1)，您可能需要先通过 opencv_contrib 安装 OpenCV3。对于 OpenCV2.4.13，无需使用 opencv_contrib 即可更轻松地安装 dense_flow，但为了避免出现错误，建议您在 OpenCV3 的环境下运行该仓库中的代码。

该代码同样适用于 Python 2.7。

数据准备

下载数据 UCF101，并使用 unrar x UCF101.rar 解压视频文件。

将视频转换为帧，并提取光流信息：

python build_of.py --src_dir ./UCF-101 --out_dir ./ucf101_frames --df_path <path to dense_flow>

构建训练和验证所需的文件列表：

python build_file_list.py --frame_path ./ucf101_frames --out_list_path ./settings

训练

对于空间流（单个 RGB 帧），运行以下命令：

python main_single_gpu.py DATA_PATH -m rgb -a rgb_resnet152 --new_length=1
--epochs 250 --lr 0.001 --lr_steps 100 200

对于时间流（连续 10 张光流图像），运行以下命令：

python main_single_gpu.py DATA_PATH -m flow -a flow_resnet152
--new_length=10 --epochs 350 --lr 0.001 --lr_steps 200 300

其中，DATA_PATH 是存放 RGB 帧或光流图像的目录。请根据实际需求调整传递给 argparse 的参数。

测试

进入“scripts/eval_ucf101_pytorch”文件夹，运行 python spatial_demo.py 获取空间流结果；运行 python temporal_demo.py 获取时间流结果。在运行脚本前，请先修改相应的标签文件。

以 ResNet152 为例，在 UCF101 数据集的第 1 分割中，我分别获得了 85.60% 的空间流准确率和 85.71% 的时间流准确率。这一结果令人鼓舞。 预训练的 RGB_ResNet152 模型 预训练的 Flow_ResNet152 模型

以 VGG16 为例，在 UCF101 数据集的第 1 分割中，我获得了 78.5% 的空间流准确率和 80.4% 的时间流准确率。空间流的结果与原始论文中的报告数值较为接近，但时间流结果仍相差 5%。造成这一差距的原因有很多，可能是 PyTorch 中预训练的 VGG16 模型与 Caffe 的实现存在差异，也可能是我的 VGG16 时间流模型中存在一些细微的 bug。如果您发现了性能差距的原因，请随时提出宝贵意见。 预训练的 RGB_VGG16 模型 预训练的 Flow_VGG16 模型

目前我正尝试开发内存效率更高的 DenseNet 模型，预计将在几天内发布相关代码。敬请期待！

相关项目

TSN：时间片段网络：迈向深度动作识别的良好实践

Hidden Two-Stream：用于动作识别的隐藏双流卷积网络

two-stream-pytorch 快速上手指南

本指南基于 two-stream-pytorch 项目，帮助开发者快速搭建用于视频动作识别的双流卷积神经网络（Two-Stream ConvNets）环境。

1. 环境准备

在开始之前，请确保您的系统满足以下要求。该项目主要在 Ubuntu 16.04 上测试通过。

• 操作系统: Ubuntu 16.04 (推荐)
• Python: 3.5 (也支持 2.7)
• CUDA: 8.0
• 核心依赖:
  • PyTorch
  • OpenCV 3 (必须包含 opencv_contrib 模块以支持光流计算)
  • dense_flow (光流提取工具)

注意：安装 dense_flow 前，务必先安装带有 contrib 模块的 OpenCV 3。如果使用 OpenCV 2.4.13 虽可简化 dense_flow 安装，但运行本仓库代码时可能会报错，因此强烈建议使用 OpenCV 3。

2. 安装步骤

2.1 安装基础依赖

首先安装 PyTorch 和 OpenCV 3（含 contrib）。由于官方源下载较慢，国内用户推荐使用清华或阿里镜像源安装 Python 包。

# 示例：使用 pip 安装 PyTorch (请根据具体 CUDA 版本选择对应命令)
pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 OpenCV 3 (需确保包含 contrib 模块，建议从源码编译或使用预编译包)
# 此处以 apt 为例，具体编译步骤请参考 opencv_contrib 官方文档
sudo apt-get install libopencv-dev python3-opencv

2.2 编译并安装 dense_flow

dense_flow 是提取光流特征的关键工具，需要从源码编译。

# 克隆 dense_flow 仓库 (指定 opencv-3.1 分支)
git clone -b opencv-3.1 https://github.com/yjxiong/dense_flow.git
cd dense_flow

# 修改 CMakeLists.txt 中的 OpenCV 路径（如果自动检测失败）
# 然后进行编译
mkdir build && cd build
cmake ..
make -j$(nproc)
sudo make install

记下 dense_flow 的安装路径，后续数据预处理需要用到。

2.3 获取本项目代码

git clone https://github.com/bryanyzhu/two-stream-pytorch.git
cd two-stream-pytorch

3. 基本使用

3.1 数据准备

以 UCF101 数据集为例，下载数据并解压：

# 下载 UCF101.rar 后执行
unrar x UCF101.rar

转换视频为帧并提取光流： 将 <path to dense_flow> 替换为实际安装路径。

python build_of.py --src_dir ./UCF-101 --out_dir ./ucf101_frames --df_path <path to dense_flow>

生成训练和验证文件列表：

python build_file_list.py --frame_path ./ucf101_frames --out_list_path ./settings

3.2 模型训练

本项目包含空间流（RGB 图像）和时间流（光流图像）两个分支的训练脚本。

训练空间流 (Spatial Stream): 使用单张 RGB 图像作为输入。

python main_single_gpu.py DATA_PATH -m rgb -a rgb_resnet152 --new_length=1 \
--epochs 250 --lr 0.001 --lr_steps 100 200

训练时间流 (Temporal Stream): 使用 10 张连续的光流图像作为输入。

python main_single_gpu.py DATA_PATH -m flow -a flow_resnet152 \
--new_length=10 --epochs 350 --lr 0.001 --lr_steps 200 300

注：DATA_PATH 请替换为您存储 RGB 帧或光流图像的实际路径。

3.3 模型测试与评估

进入评估目录并运行演示脚本。运行前请根据需要修改脚本中的标签文件路径。

cd scripts/eval_ucf101_pytorch

# 获取空间流结果
python spatial_demo.py

# 获取时间流结果
python temporal_demo.py

预训练模型参考： 作者提供了在 UCF101 Split 1 上的预训练模型，可直接下载使用：

• RGB_ResNet152: 下载链接 (准确率约 85.60%)
• Flow_ResNet152: 下载链接 (准确率约 85.71%)