五种视频分类方法

五种视频分类方法：

1. 使用卷积神经网络一次对一帧进行分类。
2. 在单独的网络中，使用卷积神经网络从每一帧提取特征，并将序列传递给循环神经网络。
3. 使用时序分布的卷积神经网络，将特征传递给循环神经网络，与方法2类似，但所有步骤都在一个网络中完成（这是代码中的lrcn网络）。
4. 使用卷积神经网络从每一帧提取特征，并将序列传递给多层感知机。
5. 使用三维卷积网络（有两种不同版本的三维卷积可供选择）。

完整详情请参阅配套博客文章：https://medium.com/@harvitronix/five-video-classification-methods-implemented-in-keras-and-tensorflow-99cad29cc0b5

需求

此代码要求您已安装 Keras 2 和 TensorFlow 1 或更高版本。请参阅 requirements.txt 文件。为确保您的环境是最新的，请运行：

pip install -r requirements.txt

此外，您还需要安装 ffmpeg 才能提取视频文件。如果 ffmpeg 不在您的系统路径中（即运行 which ffmpeg 无法返回其路径，或者您使用的不是 *nix 系统），则需要在 data/2_extract_files.py 中更新 ffmpeg 的路径。

获取数据

首先，将 UCF 数据集下载到 data 文件夹中：

cd data && wget http://crcv.ucf.edu/data/UCF101/UCF101.rar

然后使用 unrar e UCF101.rar 解压文件。

接下来，在 data 文件夹中创建以下子文件夹：mkdir train && mkdir test && mkdir sequences && mkdir checkpoints。

现在您可以运行 data 文件夹中的脚本，将视频移动到相应位置、提取帧，并生成其余代码所引用的 CSV 文件。这些脚本需要按顺序执行。示例：

python 1_move_files.py

python 2_extract_files.py

提取特征

在运行 lstm 和 mlp 模型之前，您需要先使用 CNN 从图像中提取特征。这可以通过运行 extract_features.py 脚本来完成。在我配备 GeForce 960m 显卡的 Dell 笔记本上，此过程大约需要 8 小时。如果您只想处理前 N 个类别，可以在该文件中设置相应选项。

训练模型

仅使用 CNN 的方法（博客文章中的方法 #1）通过 train_cnn.py 运行。

其余模型则通过 train.py 运行。您可以在该文件中设置配置选项，以选择要运行的模型。

所有模型均定义在 models.py 文件中。请参考该文件，了解您可以在 train.py 中运行哪些模型。

训练日志会保存为 CSV 文件，同时也会生成 TensorBoard 文件。要在训练过程中查看进度，请从项目根目录运行：

tensorboard --logdir=data/logs。

演示/使用模型

目前我尚未实现一个演示功能，允许您将视频文件输入模型并获得预测结果。如果您愿意帮忙，欢迎提交 Pull Request！

待办事项

• 添加数据增强以防止过拟合
• 支持数据生成器中的多线程工作，以加快训练速度
• 添加演示脚本
• 支持其他数据集
• 实现光流法
• 实现更复杂的网络架构，例如光流与 CNN 的融合

UCF101 引用

Khurram Soomro、Amir Roshan Zamir 和 Mubarak Shah，《UCF101：来自野外视频的 101 类人类动作数据集》，CRCV-TR-12-01，2012 年 11 月。

five-video-classification-methods 快速上手指南

本项目提供了五种基于 Keras 和 TensorFlow 的视频分类实现方法，涵盖从单帧 CNN 到 3D 卷积网络等多种架构。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows (需配置 ffmpeg 路径)
• Python 版本：建议 Python 3.6+
• 核心依赖：
  • TensorFlow >= 1.0
  • Keras == 2
  • FFmpeg (用于视频帧提取)
• 硬件建议：推荐使用 NVIDIA GPU 以加速特征提取和模型训练（例如 GeForce 960m 或更高版本）。

安装步骤

1. 安装 Python 依赖

克隆项目后，进入目录并安装所需库。国内用户建议使用清华源或阿里源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装 FFmpeg

项目依赖 ffmpeg 提取视频帧。

• Ubuntu/Debian: sudo apt-get install ffmpeg
• CentOS: sudo yum install ffmpeg
• macOS: brew install ffmpeg
• Windows: 下载编译版并添加到系统环境变量 PATH 中。

注意：如果 which ffmpeg 无法找到路径，或者在非 Linux 系统上运行，请手动修改 data/2_extract_files.py 文件中的 ffmpeg 路径配置。

3. 获取数据集

本项目默认使用 UCF101 数据集。由于原链接下载速度较慢，建议寻找国内镜像源下载 UCF101.rar，或按以下步骤操作（需科学上网或耐心等待）：

cd data
wget http://crcv.ucf.edu/data/UCF101/UCF101.rar
unrar e UCF101.rar

创建必要的目录结构：

mkdir train test sequences checkpoints

4. 预处理数据

依次运行以下脚本移动文件、提取帧并生成 CSV 索引：

python 1_move_files.py
python 2_extract_files.py

基本使用

1. 提取特征 (针对 LSTM/MLP 方法)

在使用方法 #2 (CNN+RNN)、#3 (LRCN) 或 #4 (CNN+MLP) 之前，必须先通过 CNN 提取图像特征。此过程耗时较长（GPU 环境下约需数小时）：

python extract_features.py

提示：若仅需测试，可修改该文件限制处理的类别数量 (N classes)。

2. 训练模型

根据选择的分类方法运行对应的训练脚本：

• 方法 #1 (仅 CNN)：每次分类一帧

  python train_cnn.py
  

• 方法 #2, #3, #4, #5 (RNN/MLP/3D Conv)： 编辑 train.py 配置文件选择具体模型架构，然后运行：

  python train.py
  

  所有模型定义均位于 models.py 文件中，可参考该文件了解支持的架构。

3. 监控训练进度

训练日志会保存为 CSV 和 TensorBoard 格式。使用以下命令查看实时训练曲线：

tensorboard --logdir=data/logs

然后在浏览器中访问显示的本地地址（通常为 http://localhost:6006）。

说明：目前版本尚未包含直接输入视频文件进行预测的演示脚本（Demo），主要侧重于模型训练与研究复现。