双流动作识别

我们在 UCF101 数据集上使用基于 ResNet101 的空间流和运动流 CNN 来建模视频信息。

参考论文

• [1] 用于视频中动作识别的双流卷积网络
• [2] 时间段网络：迈向深度动作识别的良好实践
• [3] TS-LSTM 和时间 Inception：利用时空动态进行行为识别

1. 数据

1.1 空间输入数据 -> RGB 帧

• 我们以 10 帧/秒的采样率从 UCF101 数据集中每段视频中提取 RGB 帧，并将其保存为 .jpg 格式的图像文件，存储占用约 5.9G。

1.2 运动输入数据 -> 叠加光流图像

在运动流中，我们采用两种方法获取光流数据。

1. 直接从 https://github.com/feichtenhofer/twostreamfusion 下载预处理好的 TVL1 光流数据集。
2. 使用 Flownet2.0 方法生成 2 通道光流图像，并分别将 x、y 通道保存为 .jpg 文件，存储占用约 56G。

1.3（可选）直接从 feichtenhofer/twostreamfusion 下载预处理好的数据

• RGB 图像

wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.001
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.002
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.003

cat ucf101_jpegs_256.zip* > ucf101_jpegs_256.zip
unzip ucf101_jpegs_256.zip

• 光流

wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.001
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.002
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.003

cat ucf101_tvl1_flow.zip* > ucf101_tvl1_flow.zip
unzip ucf101_tvl1_flow.zip

2. 模型

2.1 空间 CNN

• 如前所述，我们使用先在 ImageNet 上预训练、再在我们的 UCF101 空间 RGB 图像数据集上微调的 ResNet101。

2.2 运动 CNN

• 运动 CNN 的输入是一叠光流图像，包含 10 张 x 通道图像和 10 张 y 通道图像，因此其输入形状为 (20, 224, 224)，可以视为一张 20 通道的图像。
• 为了在我们的模型中利用 ImageNet 预训练权重，我们必须将第一层卷积层的预训练权重从 (64, 3, 7, 7) 修改为 (64, 20, 7, 7)。
• 在 [2] 中，Wang 提出了一种称为 **跨模态预-

** 的方法来完成这种权重形状转换。他首先对 RGB 通道上的权重值取平均，然后根据运动流输入的通道数（本例为 20）复制该平均值。

3. 训练策略

3.1 空间 CNN

• 在这里，我们采用了时间段网络中的技术。对于每个 mini-batch 中的视频，我们从每段视频中随机选择 3 帧，然后通过对这些帧进行共识推断得到视频级别的预测，用于计算损失。

3.2 运动 CNN

• 在每个 mini-batch 中，我们从 9537 个训练视频中随机选取 64 个视频，并进一步从每个视频中随机选择 1 组叠加光流图像。

3.3 数据增强

• 两个流都应用相同的数据增强技术，例如随机裁剪。

4. 测试方法

• 对于 3783 个测试视频，我们均匀地从每段视频中抽取 19 帧，视频级别的预测结果即为这 19 帧预测结果的投票结果。
• 我们选择 19 这个数字的原因是，UCF101 数据集中最短的视频只有 28 帧，我们需要确保在 10 层叠加的运动流中仍有足够的帧用于测试。

5. 性能

网络	top1
空间 CNN	82.1%
运动 CNN	79.4%
平均融合	88.5%

6. 预训练模型

• 空间 ResNet101
• 运动 ResNet101

7. 在您的设备上测试

空间流

• 请修改此 路径 和此 函数 以适配您设备上的 UCF101 数据集。
• 训练和测试

python spatial_cnn.py --resume PATH_TO_PRETRAINED_MODEL

• 仅测试

python spatial_cnn.py --resume PATH_TO_PRETRAINED_MODEL --evaluate

运动流

• 请修改此 路径 和此 函数 以适配您设备上的 UCF101 数据集。
• 训练和测试

python motion_cnn.py --resume PATH_TO_PRETRAINED_MODEL

• 仅测试

python motion_cnn.py --resume PATH_TO_PRETRAINED_MODEL --evaluate

two-stream-action-recognition 快速上手指南

本指南基于 ResNet101 架构，利用双流卷积神经网络（空间流 + 运动流）在 UCF101 数据集上进行视频动作识别。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 16.04+)
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 ≥ 8GB）
• Python: 3.6+

前置依赖

请确保已安装以下基础库：

• PyTorch
• torchvision
• OpenCV (cv2)
• NumPy

若未安装 PyTorch，可使用以下命令（国内用户推荐使用清华源加速）：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install opencv-python numpy

2. 安装与数据准备

2.1 克隆项目

git clone https://github.com/jeffreyhuang1/two-stream-action-recognition.git
cd two-stream-action-recognition

2.2 数据集准备

本项目依赖 UCF101 数据集。你可以选择手动提取或直接下载预处理好的数据（推荐）。

方案 A：直接下载预处理数据（推荐）

使用 wget 下载分卷压缩包并合并解压。

RGB 图像 (空间流输入):

wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.001
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.002
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_jpegs_256.zip.003

cat ucf101_jpegs_256.zip* > ucf101_jpegs_256.zip
unzip ucf101_jpegs_256.zip

光流图像 (运动流输入):

wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.001
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.002
wget http://ftp.tugraz.at/pub/feichtenhofer/tsfusion/data/ucf101_tvl1_flow.zip.003

cat ucf101_tvl1_flow.zip* > ucf101_tvl1_flow.zip
unzip ucf101_tvl1_flow.zip

(注：若下载速度慢，可考虑自行使用 Flownet2.0 生成光流数据，但耗时较长且需额外约 56G 空间)

2.3 下载预训练模型

从 Google Drive 下载预训练的 ResNet101 权重并放入项目目录：

• Spatial ResNet101
• Motion ResNet101

3. 基本使用

在运行前，请务必修改代码中的数据路径以匹配你本地的数据集存放位置。

3.1 空间流 (Spatial Stream)

编辑 spatial_cnn.py (第 42 行) 和 dataloader/spatial_dataloader.py (第 21 行)，更新数据集路径。

训练与测试:

python spatial_cnn.py --resume PATH_TO_PRETRAINED_MODEL

仅测试:

python spatial_cnn.py --resume PATH_TO_PRETRAINED_MODEL --evaluate

3.2 运动流 (Motion Stream)

编辑 motion_cnn.py (第 44 行) 和 dataloader/motion_dataloader.py (第 32 行)，更新光流数据集路径。 注意：运动流输入为堆叠的光流图 (20 通道)，模型已针对此进行了权重调整。

训练与测试:

python motion_cnn.py --resume PATH_TO_PRETRAINED_MODEL

仅测试:

python motion_cnn.py --resume PATH_TO_PRETRAINED_MODEL --evaluate

3.3 结果融合

最终的动作识别结果通常取空间流和运动流预测结果的平均值（Average Fusion），以获得最佳性能（预期 Top-1 准确率约 88.5%）。