C3D-tensorflow

这是一个尝试在 TensorFlow 上实现 C3D-caffe 的仓库，直接使用从原始 C3D-caffe 转换而来的模型。请注意，我们在 TensorFlow 中的实现与原始 C3D-caffe 在 UCF101 split1 上的视频级别准确率相差约 5%。

需求：

1. 已安装 TensorFlow >= 1.2 版本
2. 必须安装以下两个 Python 库： a) tensorflow b) Pillow
3. 必须下载 UCF101（动作识别数据集）
4. 每个单独的 AVI 文件以 5 FPS 的帧率解码（具体取决于您的选择），并存储在一个目录中。
   • 您可以使用 ./list/convert_video_to_images.sh 脚本来解码 UCF101 视频文件
   • 运行 ./list/convert_video_to_images.sh .../UCF101 5
5. 在 list 目录下生成 {train,test}.list 文件。每行对应一个“图像目录”和一个类别（从 0 开始）。例如：
   • 您可以使用 ./list/convert_images_to_list.sh 脚本来为数据集生成 {train,test}.list
   • 运行 ./list/convert_images_to_list.sh .../dataset_images 4，这将在根文件夹内按比例 4 生成 test.list 和 train.list 文件。

database/ucf101/train/ApplyEyeMakeup/v_ApplyEyeMakeup_g01_c01 0
database/ucf101/train/ApplyEyeMakeup/v_ApplyEyeMakeup_g01_c02 0
database/ucf101/train/ApplyEyeMakeup/v_ApplyEyeMakeup_g01_c03 0
database/ucf101/train/ApplyLipstick/v_ApplyLipstick_g01_c01 1
database/ucf101/train/ApplyLipstick/v_ApplyLipstick_g01_c02 1
database/ucf101/train/ApplyLipstick/v_ApplyLipstick_g01_c03 1
database/ucf101/train/Archery/v_Archery_g01_c01 2
database/ucf101/train/Archery/v_Archery_g01_c02 2
database/ucf101/train/Archery/v_Archery_g01_c03 2
database/ucf101/train/Archery/v_Archery_g01_c04 2
database/ucf101/train/BabyCrawling/v_BabyCrawling_g01_c01 3
database/ucf101/train/BabyCrawling/v_BabyCrawling_g01_c02 3
database/ucf101/train/BabyCrawling/v_BabyCrawling_g01_c03 3
database/ucf101/train/BabyCrawling/v_BabyCrawling_g01_c04 3
database/ucf101/train/BalanceBeam/v_BalanceBeam_g01_c01 4
database/ucf101/train/BalanceBeam/v_BalanceBeam_g01_c02 4
database/ucf101/train/BalanceBeam/v_BalanceBeam_g01_c03 4
database/ucf101/train/BalanceBeam/v_BalanceBeam_g01_c04 4
...

使用方法

1. python train_c3d_ucf101.py 将训练 C3D 模型。训练好的模型将保存在 models 目录中。
2. python predict_c3d_ucf101.py 将在验证数据集上测试 C3D 模型。
3. cd ./C3D-tensorflow-1.0 && python Random_clip_valid.py 将使用提供的 sports1m_finetuning_ucf101.model 在 UCF101 测试集上获得随机片段的准确率。
4. C3D-tensorflow-1.0/Random_clip_valid.py 代码兼容 TensorFlow 1.0 及以上版本，与旧仓库略有不同。
5. 重要提示：当您加载 sports1m_finetuning_ucf101.model 时，应使用转置操作，例如：pool5 = tf.transpose(pool5, perm=[0,1,4,2,3])，或者在 Random_clip_valid.py 中写成：["transpose", [0, 1, 4, 2, 3]]。但如果您加载的是 conv3d_deepnetA_sport1m_iter_1900000_TF.model 或 c3d_ucf101_finetune_whole_iter_20000_TF.model，则不需要进行转置操作，只需注释掉该行代码即可。

实验结果：

• 注意：

  1. 所有报告的结果均基于 UCF101 split1（训练视频：9537，测试视频：3783）。
  2. 所有结果均为视频级别的准确率，除非另有说明。
  3. 我们采用与 C3D 论文相同的视频片段提取方式：“为了提取 C3D 特征，将视频分割为长度为 16 帧的片段，相邻片段之间有 8 帧的重叠。这些片段被输入到 C3D 网络中以提取 fc6 激活值。然后对这些片段的 fc6 激活值取平均，形成一个 4096 维的视频描述符，并对其进行 L2 归一化。”

• C3D 作为特征提取器：

平台	特征提取器模型	fc6+SVM	fc6+SVM+L2 归一化
caffe	conv3d_deepnetA_sport1m_iter_1900000.caffemodel	81.99%	83.39%
tensorflow	conv3d_deepnetA_sport1m_iter_1900000_TF.model	79.38%	81.44%
tensorflow	c3d_ucf101_finetune_whole_iter_20000_TF.model	79.67%	81.33%
tensorflow	sports1m_finetuning_ucf101.model	82.73%	85.35%

• 在 UCF101 split1 上使用预训练模型对 C3D 网络进行微调：

平台	预训练模型	训练策略	视频准确率	片段准确率	随机片段
caffe	c3d_ucf101_finetune_whole_iter_20000.caffemodel	直接测试	-	79.87%	-
tensorflow	c3d_ucf101_finetune_whole_iter_20000_TF.model	直接测试	78.35%	72.77%	57.15%
tensorflow-A	conv3d_deepnetA_sport1m_iter_1900000_TF.caffemodel	整体微调	76.0%	71%	69.8%
tensorflow-B	sports1m_finetuning_ucf101.model	冻结卷积层，仅微调全连接层	79.93%	74.65%	76.6%

• 注：
  1. tensorflow-A 模型对应于 @ hx173149 提供的在 UCF101 上预训练的原始 C3D 模型。
  2. tensorflow-B 模型是在 tensorflow-A 的基础上冻结了卷积层，并以 learning rate=1e-3 对全连接层进行了额外四轮微调。
  3. “随机片段”列表示从 UCF101 测试集 split1 中的每个视频中随机选择一个片段，因此结果并不十分稳健。但根据大数定律，我们可以假设该项目与您的视频级别准确率呈正相关。
  4. 显而易见的是，如果您基于 c3d_ucf101_finetune_whole_iter_20000_TF.model 进行更多的微调工作，可能会取得更好的效果，但由于时间限制，我没有这样做。
  5. 毫无疑问，通过适当微调网络，您可以获得更好的结果。

训练好的模型：

模型	描述	云存储	下载
C3D sports1M TF	C3D sports1M，由 Caffe 版本的 C3D 转换而来	Dropbox	C3D sports1M
C3D UCF101 TF	C3D UCF101 训练模型，由 Caffe 版本的 C3D 转换而来	Dropbox	C3D UCF101
C3D UCF101 TF 训练	在 UCF101 split1 数据集上进行微调，使用 @ hx173149 提供的 C3D sports1M 模型	Dropbox	C3D UCF101 split1
split1 均值文件 TF	UCF101 split1 的均值文件，由 Caffe 版本的 C3D 转换而来	Dropbox	UCF101 split1 均值文件
上述所有文件	上述四个文件	百度网盘	百度网盘

其他版本

• C3D-estimator-sagemaker: 使用 Sagemaker 训练 C3D 模型。

参考资料：

• 感谢作者 Du tran 的代码：C3D-caffe
• C3D：用于视频分析的通用特征

C3D-tensorflow 快速上手指南

C3D-tensorflow 是一个基于 TensorFlow 实现的 C3D 视频动作识别模型仓库，直接转换自原始的 C3D-caffe 模型。本指南将帮助你快速配置环境并运行模型。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux / macOS (Windows 需自行配置兼容环境)
• Python 版本: 建议 Python 2.7 或 3.6+ (取决于具体 TF 版本兼容性)
• 核心依赖:
  • TensorFlow >= 1.2
  • Pillow (图像处理库)
• 数据集: UCF101 动作识别数据集

提示: 国内用户安装 Python 依赖时，推荐使用清华或阿里镜像源加速： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow pillow

安装与数据预处理步骤

1. 安装依赖库

确保已安装 TensorFlow 和 Pillow：

pip install tensorflow>=1.2 pillow

2. 下载并预处理视频数据

下载 UCF101 数据集后，需要将视频文件解码为图像帧（默认按 5FPS 抽取）。

使用提供的脚本进行转换（假设数据集路径为 .../UCF101）：

./list/convert_video_to_images.sh .../UCF101 5

3. 生成训练/测试列表文件

生成 {train,test}.list 文件，每行包含“图像目录”和对应的“类别索引（从 0 开始）”。

使用脚本生成列表（假设处理后的图像根目录为 .../dataset_images，因子为 4）：

./list/convert_images_to_list.sh .../dataset_images 4

生成的 train.list 格式示例如下：

database/ucf101/train/ApplyEyeMakeup/v_ApplyEyeMakeup_g01_c01 0
database/ucf101/train/ApplyLipstick/v_ApplyLipstick_g01_c01 1
database/ucf101/train/Archery/v_Archery_g01_c01 2

4. 下载预训练模型

从官方提供的链接下载所需的 .model 文件并放入项目目录（推荐国内用户使用百度网盘链接）：

• C3D Sports1M 模型: conv3d_deepnetA_sport1m_iter_1900000_TF.model
• C3D UCF101 微调模型: c3d_ucf101_finetune_whole_iter_20000_TF.model
• 均值文件: ucf101_split1_mean.npy (通常包含在 split1 下载包中)

下载地址:

• 百度网盘 (提取码见原仓库): http://pan.baidu.com/s/1nuJe8vn
• Dropbox: 参考 README 中的 "Trained models" 表格链接。

基本使用

1. 训练模型

使用 UCF101 数据集训练 C3D 模型，训练好的模型将保存在 models 目录：

python train_c3d_ucf101.py

2. 验证/测试模型

在验证集上测试 C3D 模型性能：

python predict_c3d_ucf101.py

3. 随机片段精度测试 (Random Clip Accuracy)

使用预训练模型 sports1m_finetuning_ucf101.model 在 UCF101 测试集上获取随机片段精度：

cd ./C3D-tensorflow-1.0
python Random_clip_valid.py

⚠️ 重要注意事项: 加载不同模型时，代码中对 pool5 层的转置操作要求不同：

• 若加载 sports1m_finetuning_ucf101.model：必须执行转置操作。 代码示例：pool5 = tf.transpose(pool5, perm=[0,1,4,2,3]) 或在脚本中保留 ["transpose", [0, 1, 4, 2, 3]]。
• 若加载 conv3d_deepnetA_sport1m_iter_1900000_TF.model 或 c3d_ucf101_finetune_whole_iter_20000_TF.model：不需要转置操作，请注释掉相关代码行。