Tensorflow_视频目标跟踪

（版本 0.3，最后更新日期：2017年10月3日）

本项目遵循以下目录：

1. 简介；
2. 要求与安装；
3. YOLO脚本使用方法
   1. 设置参数；
   2. 使用方法。
4. VID TENSORBOX脚本使用方法
   1. 设置参数；
   2. 使用方法。
5. TENSORBOX测试文件；
6. 数据集脚本；
7. 版权信息；
8. 项目状态。
9. 下载。
10. 致谢。
11. 参考文献。

1.简介

本仓库是我的硕士毕业论文项目：“基于TensorFlow技术的视频目标跟踪开发”，目前仍在开发中，未来还将进行多次更新。在本工作中，我采用了T-CNN论文（Arxiv）的架构和问题解决策略，该论文去年赢得了IMAGENET 2015 Teaser Challenge VID比赛。因此，整个脚本架构将由多个级联组件组成：

1. 静态图像检测（返回单帧中的跟踪结果）；
2. 时间信息检测（将时间信息引入检测结果中）；
3. 上下文信息检测（将上下文信息引入检测结果中）；

注意，静态图像检测组件可以是单一的，也可以分解为两个子组件：

1. 第一：确定帧中的“位置”；
2. 第二：确定帧中的“物体”。

我的项目使用了许多在线的TensorFlow项目，例如：

• YOLO Tensorflow；
• TensorBox；
• Inception。

2.要求与安装

要安装该脚本，您只需下载本仓库即可。要运行脚本，您需要先安装：

• Tensorflow；
• OpenCV；
• Python；

所有必要的Python库都可以通过pip install 包名轻松安装。如果您想按照指南来安装这些依赖项，这里有一个我为自己以及UPC深度学习课程编写的教程链接。

3.YOLO脚本使用方法

You Only Look Once (YOLO) 是一种最先进的实时目标检测系统。### i.设置参数 以下是脚本中使用的命令行参数，其中大多数并非必需，只有视频路径必须在调用脚本时指定：

  parser = argparse.ArgumentParser()
  parser.add_argument('--det_frames_folder', default='det_frames/', type=str)
  parser.add_argument('--det_result_folder', default='det_results/', type=str)
  parser.add_argument('--result_folder', default='summary_result/', type=str)
  parser.add_argument('--summary_file', default='results.txt', type=str)
  parser.add_argument('--output_name', default='output.mp4', type=str)
  parser.add_argument('--perc', default=5, type=int)
  parser.add_argument('--path_video', required=True, type=str)

现在您需要下载YOLO的权重，并将其放置在/YOLO_DET_Alg/weights/目录下。

关于YOLO的相关知识，您可以访问这里，找到原始代码（C语言实现）及论文。

ii.使用方法

设置好参数后，我们就可以继续运行脚本了：

  python VID_yolo.py --path_video video.mp4

您将会看到类似如下的终端输出：

您会看到实时的帧输出（如下所示），最终这些帧会被嵌入到视频输出中（我已经将前两次测试上传到了/video_result文件夹中，您可以下载并查看最终结果。第一次测试存在帧顺序问题，因此视频画面会出现明显的闪烁现象；而第二次测试已经解决了这个问题，没有出现帧闪烁的情况）：

4.VID TENSORBOX脚本使用方法

i.设置参数

以下是脚本中使用的命令行参数，其中大多数并非必需。与之前一样，只有视频路径必须在调用脚本时指定：

  parser.add_argument('--output_name', default='output.mp4', type=str)
  parser.add_argument('--hypes', default='./hypes/overfeat_rezoom.json', type=str)
  parser.add_argument('--weights', default='./output/save.ckpt-1090000', type=str)
  parser.add_argument('--perc', default=2, type=int)
  parser.add_argument('--path_video', required=True, type=str)

我很快会提供一个权重文件供下载。关于多类别实现的训练和规范说明，我将在毕业论文完成后补充上去。

ii.使用方法

下载“下载”部分中提供的.zip文件，并替换相应的文件夹。

设置好参数后，我们就可以继续运行脚本了：

  python VID_tensorbox_multi_class.py --path_video video.mp4

5.Tensorbox测试

在video_result_OVT文件夹中，您可以找到VID TENSOBOX脚本运行后的结果文件。

6.数据集脚本

以下所有脚本均针对VID类别设计，如果您希望将其应用于其他类别，只需修改Classes.py文件，该文件定义了代码与名称之间的对应关系。所有图像数据都遵循特定的宽高比，因为TENSORBOX仅支持640x480的PNG格式图像，您需要对代码稍作修改以适应您的需求。 我将提供四份脚本：

1. Process_Dataset_heavy.py：采用暴力方式处理您的数据集，这样每个类别的边界框和文件数量会更多；
2. Process_Dataset_lightweight.py：采用轻量级方法处理您的数据集，这样每个类别的边界框和文件数量会更少；
3. Resize_Dataset.py：将您的数据集调整为640x480的PNG格式图像；
4. Test_Processed_Data.py：用于测试处理过程是否顺利完成且无错误。

此外，我还添加了一些用于预处理和准备数据集以便训练最后一部分——Inception模型的脚本，您可以在数据集脚本文件夹的子文件夹中找到它们。

7. 版权

根据原始代码的 LICENSE 文件：

• 我与原作者对任何损害不承担任何责任；
• 请勿将本项目用于商业用途！

8. 项目状态

• 支持 YOLO（单类）目标检测算法；
• 仅支持 TensorBox 和 Inception 的训练；
• 利用时间信息 [这些信息通过我在 Utils_Video.py 文件中实现的一些后处理算法获取，不可训练]；
• 模块化架构由以下组件级联组成：TensorBox（作为通用目标检测器）、跟踪器与平滑器，以及 Inception（作为目标分类器）；

9. 下载

以下是我在重新训练实验中得到的 Inception 和 TensorBox 权重文件的下载链接：

• INCEPTION
• TENSORBOX

10. 致谢

感谢以下教授：

• 都灵理工大学自动化与信息学系的 Elena Baralis 教授；
• 巴塞罗那超级计算中心计算机科学系的 Jordi Torres 教授；
• 加泰罗尼亚理工大学图像处理系的 Xavi Giro ”I” Nieto 教授。

11. 参考文献

i. 课程

• 巴塞罗那计算机视觉深度学习课程
• 使用 TensorFlow、Python 和 OpenCV 构建深度学习环境

ii. 分类

• Alex Krizhevsky、Ilya Sutskever 和 Geoffrey E. Hinton. “基于深度卷积神经网络的 ImageNet 分类”。
• Christian Szegedy 等人. “更深层次的卷积网络”。
• Christian Szegedy 等人. “重新思考用于计算机视觉的 Inception 架构”。
• Kaiming He 等人. “深入研究 ReLU：在 ImageNet 分类任务上超越人类水平性能”。

iii. 目标检测

• Russell Stewart 和 Mykhaylo Andriluka. “拥挤场景中的端到端人群检测”。
• Pierre Sermanet 等人. “OverFeat：基于卷积网络的集成识别、定位与检测”。
• S. Ren 等人. “Faster R-CNN：基于区域建议网络的实时目标检测”。

iv. 目标跟踪

• Dinesh Jayaraman 和 Kristen Grauman. “缓慢而稳定的特征分析：视频中的高阶时间一致性”。
• K. Kang 等人. “T-CNN：基于卷积神经网络的 Tubelets 技术，用于从视频中进行目标检测”。
• W. Han 等人. “用于视频目标检测的 Seq-NMS”。
• J. Redmon 等人. “你只看一次：统一的实时目标检测”。

Tensorflow_Object_Tracking_Video 快速上手指南

本指南基于开源项目 Tensorflow_Object_Tracking_Video 整理，旨在帮助开发者快速搭建基于 TensorFlow 的视频目标跟踪环境。该项目结合了 YOLO 和 TensorBox 架构，并引入了时序信息处理策略（参考 T-CNN 论文）。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS (Windows 需配置相应兼容环境)
• 核心依赖：
  • Python (建议 Python 2.7 或 3.5+，视具体 TensorFlow 版本而定，原项目较老，需注意兼容性)
  • TensorFlow
  • OpenCV
  • NumPy, SciPy 等常用科学计算库

安装依赖

您可以使用 pip 安装必要的 Python 库。国内用户推荐使用清华或阿里镜像源以加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow opencv-python numpy scipy

注意：由于该项目最后更新于 2017 年，若使用新版 TensorFlow (2.x+) 可能会遇到 API 不兼容问题。建议参考原作者提供的 深度学习环境搭建教程 配置兼容的旧版环境，或在 Docker 容器中运行。

2. 安装步骤

2.1 克隆项目

首先下载源代码仓库：

git clone https://github.com/gliese581gg/Tensorflow_Object_Tracking_Video.git
cd Tensorflow_Object_Tracking_Video

2.2 下载模型权重

脚本运行需要预训练的权重文件。根据您选择的检测算法（YOLO 或 TensorBox），请下载对应的权重并放置到指定目录。

方案 A：使用 YOLO 检测器

1. 下载 YOLO 权重文件：Google Drive 链接
   • 注：若无法访问 Google Drive，请自行寻找 YOLO v1/v2 的 .weights 文件。
2. 将下载的文件放入项目目录：

   # 假设下载的文件名为 yolo.weights
   mkdir -p YOLO_DET_Alg/weights
   mv yolo.weights YOLO_DET_Alg/weights/
   

方案 B：使用 TensorBox 检测器

1. 下载 TensorBox 权重文件：MEGA 链接
2. 解压并将文件夹替换到项目对应目录中（参考原文 "Downloads" 章节说明）。

3. 基本使用

本项目主要提供两个脚本用于视频目标跟踪：VID_yolo.py 和 VID_tensorbox_multi_class.py。以下以最常用的 YOLO 方案为例。

3.1 参数说明

脚本支持多种命令行参数，其中只有视频路径是必须的：

• --path_video: 必填，输入视频文件的路径。
• --output_name: 输出视频文件名 (默认: output.mp4)。
• --perc: 置信度阈值百分比 (默认: 5)。
• --det_frames_folder: 检测帧保存目录。
• --result_folder: 最终结果汇总目录。

3.2 运行示例

确保当前目录下有一个名为 video.mp4 的测试视频，然后执行以下命令：

python VID_yolo.py --path_video video.mp4

运行过程：

1. 终端会实时输出检测日志。
2. 程序会逐帧处理视频，并在屏幕上显示实时检测结果（可选）。
3. 处理完成后，生成的跟踪视频将保存为 output.mp4（或通过 --output_name 指定的名称）。

3.3 使用 TensorBox (多类别)

如果您已下载好 TensorBox 权重并希望使用多类别检测，可使用以下命令：

python VID_tensorbox_multi_class.py --path_video video.mp4

4. 数据集处理（可选）

如果您需要用自己的数据训练模型或调整数据集格式，项目提供了以下脚本位于 Dataset Scripts 相关目录：

• Process_Dataset_heavy.py: 暴力处理模式，生成更多边界框。
• Process_Dataset_lightweight.py: 轻量处理模式。
• Resize_Dataset.py: 将数据集图像调整为 TensorBox 要求的 640x480 PNG 格式。
• Test_Processed_Data.py: 验证数据处理是否无误。

提示：修改 Classes.py 文件可以适配不同的物体类别定义。