video_obj

基于视频的目标检测算法研究

对相应的视频目标检测论文整理实现综述文档。

知乎上有关该方向的讨论视频中的目标检测与图像中的目标检测具体有什么区别？。

简单来说，视频检测是比单张图片检测多了Temporal Context（时间上下文）的信息。不同方法想利用这些Context来解决的问题并不相同。一类方法是关注如何使用这部分信息来加速Video Detection。因为相邻帧之间存在大量冗余，如果可以通过一些廉价的办法来加速不损害性能，在实际应用中还是很有意义的。另一类方法是关注这部分信息可以有效减轻单帧图片检测中由于运动模糊，物体面积过小导致的困难，从而来提升性能。

1. CUHK: Xiaogang Wang 这面我了解到的有三篇文章，最开始 (TPAMI Short)是通过Motion的信息以及多类之间的Correlation来对单帧图像detector的输出进行后处理，算是在前面提到的Baseline方法上的小改进。后续的文章(CVPR 16)在这个基础上，引入了一个Temporal CNN对每一个Tubelet进行rescore。这样通过Temporal的信息来重新评估每个proposal的置信度。最近的工作(CVPR17)将Proposal生成这个步骤，也从静态图片拿到了时序上来做。除此之外，对于每个Tubelet的分类，也采取了流行的LSTM。
2. MSRA: Jifeng Dai 相对来讲，这面的工作更干净，思路更清晰一些。个人来说更喜欢。这面的两个工作其实思想类似，但是恰好对应于前文提到的加速和性能提升两个目的。其核心都在于通过快速计算Optical Flow来捕捉视频中的Motion信息，然后通过这个Flow的信息使用Bilinear Sampling对之前的Feature Map进行Warp（也就是通过Optical Flow来预测当前帧的Feature Map）。有了这样的信息之后，如果我们想加速，那么可以直接使用预测的Feature Map来输出结果；如果想得到更好的结果，可以将预测的Feature Map和当前帧计算出来的Feature Map融合起来一起输出结果。值得一提的是，后者也是目前唯一一个End to End的Video Detection方法。另外有一些零碎一些的工作，基本都是在后处理过程中，处理rescore detection的问题，例如Seq-NMS等等。 作者：Naiyan Wang 链接：https://www.zhihu.com/question/52185576/answer/155679253 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

单帧不够，多帧来凑

视频目标检测的意义

传统的基于图片的目标检测方法已经非常成熟，对于视频目标检测来说，如果视频流按帧一张一张使用图片的目标检测算法来处理会出现以下两类问题：

• 因为视频流的图片信息具有时间和空间相关性，相邻帧之间的特征提取网络会输出有冗余的特征图信息，会造成没必要的计算浪费。
• 图片的目标检测算法在目标物体运动模糊，拍摄焦距失调，物体部分遮挡，非刚性物体罕见变形姿态的情况下，很难获得较为准确的结果，而这些情况（如下图）在视频的拍摄中情况较为多见。

上述意义引用自Towards High Performance Video Object Detection论文笔记，具体内容参考该网址。

---

数据集

通用视频目标检测数据集

ILSVRC2015: Object detection from video (VID)

ImageNet VID challenges，这是在kaggle上的关于ImageNet上基于视频的目标检测挑战，目的是为了识别和标记视频中的普通目标。

该数据集文件如下

• imagenet_object_detection_video_train.tar.gz包含了训练集和校准集的图像数据和GT。
• imagenet_object_detection_video_test.tar.gz包含了测试集的图像数据。
  • 其中图像标注格式都是基于PASCAL VOC数据集格式的XML文件（可以使用PASCAL开发工具套件来解析标注）。
  • 每一个视频都是以JPEG格式存储，代表不同帧。
  • ImageSet文件夹包含了定义了主要的检测任务的图像列表。例如，文件夹ILSVRC2015_VID_train_0000/ILSVRC2015_train_00025030表示一个视频，其中该文件夹中的000000.JPEG文件表示第一帧，并且000000.xml表示该帧的标注。

YouTube-Objects dataset v2.2

YouTube-Objects数据集由从YouTube收集的视频组成，查询PASCAL VOC Challenge的10个对象类别的名称。每个对象包含9到24个视频。每个视频的持续时间在30秒到3分钟之间变化。视频被弱标注，即我们确保每个视频包含相应类的至少一个对象。该数据集包括aeroplane、bird、boat、car、cat、cow、dog、horse、motorbike和train这10个类别，具体可在网页上查看[YouTube-Objects v2.3 Preview](YouTube-Objects v2.3 Preview)。

YouTube-Objects dataset v2.3 yto目标检测数据集主页。

yto-dataset yto数据集下载和使用说明。

• Learning Object Class Detectors from Weakly Annotated Video
• Analysing domain shift factors between videos and images for object detection

YouTube-BoundingBoxes: A Large High-Precision Human-Annotated Data Set for Object Detection in Video

该数据集中包含单个目标。

人脸检测视频数据集

---

相关资料

• ImageNet Object Detection from Video Challenge kaggle上的一个ImageNet基于视频的目标检测比赛，可以作为初始数据集测试相应的算法。
• Optimizing Video Object Detection via a Scale-Time Lattice 推荐阅读的一篇相关论文。
• FlowNet: Learning Optical Flow with Convolutional Networks 这篇文章介绍了使用CNN来计算光流的模型。
• Video Object Detection handong1587对视频目标检测相关论文的收集。
• Learning Object Class Detectors from Weakly Annotated Video
• Analysing domain shift factors between videos and images for object detection
• T-CNN: Tubelets with Convolutional Neural Networks for Object Detection from Videos
• Object Detection from Video Tubelets with Convolutional Neural Networks
• Object Detection in Videos with Tubelets and Multi-context Cues
• Context Matters: Refining Object Detection in Video with Recurrent Neural Networks
• Object Detection in Videos with Tubelet Proposal Networks
• CNN Based Object Detection in Large Video Images幻灯片
• Flow-Guided Feature Aggregation for Video Object Detection
• Object Detection in Video using Faster R-CNN
• Impression Network for Video Object Detection
• Towards High Performance Video Object Detection for Mobiles
• Temporal Dynamic Graph LSTM for Action-driven Video Object Detection
• Mobile Video Object Detection with Temporally-Aware Feature Maps
• Towards High Performance Video Object Detection
• Object Detection with an Aligned Spatial-Temporal Memory
• 3D-DETNet: a Single Stage Video-Based Vehicle Detector
• Improving Context Modeling for Video Object Detection and Tracking VID挑战PPT。
• Semantic Video CNNs through Representation Warping
• Clockwork Convnets for Video Semantic Segmentation
• Slow Feature Analysis_ Unsupervised Learning of Invariances慢特征分析，主要基于连续的视频关键帧特征具有极大的相似性这个特点提取信息。
• Deep Learning of Invariant Features via Simulated Fixations in Video
• Slow and steady feature分析：higher order temporal coherence in video
• Seq-NMS for Video Object Detection将传统的基于still image的区域建议NMS方法扩展到视频序列的NMS方法，这部分模块较小，打算从这个小模块的增加来尝试提升视频目标检测的性能。
• The Recognition of Human Movement Using Temporal Templates，论文提出了Motion History Image（MHI）作为运动表示，该表示计算高效，对于基于光流的方法来说可以作为其替代来弥补光流计算量大的问题 TODO。
• Detect to Track and Track to Detect
• github上另外有收集视频检测相关的文章Video-Detection
• ImageAI : Video Object Detection, Tracking and Analysis ImageAI上关于视频目标检测的教程。
• On The Stability of Video Detection and Tracking，其中关注点在视屏检测和跟踪的稳定性方面。
• Online Video Object Detection using Association LSTM
• New Trends on Moving Object Detection in Video Images Captured by a moving Camera: A Survey相关领域的一个调研，通过一个运动的摄像头捕捉的视频图像来检测运动目标。
• 2nd ImageNet and COCO Visual Recognition Challenges Joint Workshop 2016视频目标检测研讨会。

---

视频语义分割

• Fast and Accurate Online Video Object Segmentation via Tracking Parts 通过跟踪部分进行快速和精确的在线视频目标分割，相关代码FAVOS。

---

目标检测

• cascade-rcnn
• faster-rcnn.pytorch
• mAP mean AP python版本，对于理解object detection的评估有帮助。

mAP

• mAP（平均精度均值）
• Object-Detection-Metrics 常见的目标检测评估指标。
• 排序检索结果的评估
• PASCAL 视觉目标类别挑战赛 2012 (VOC2012) 开发工具包
• COCO 目标检测挑战赛
• 衡量目标检测模型——mAP——什么是平均精度均值？ 较好地计算了目标检测中的评价模型。
• 目标检测中的交并比 (IoU) pyimagesearch中IOU目标检测的相关定义。

---

YouTube-BoundingBoxes: 用于视频中对象检测的大型高精度人体注释数据集

YouTube-BoundingBoxes：用于视频中对象检测的大型高精度人体注释数据集，下载地址youtube-bb，浏览地址BoundingBoxes。该数据集包含大约38,000个约19秒长的视频片段，自动选择自然设置中的特征对象而无需编辑或后处理，其录制质量通常类似于手持式手机相机。

本文中的相关工作介绍了视频目标检测领域的数据集和静态图像的目标检测领域的数据集，包括VOT、MOT等等。

数据集预览界面如下所示：

数据集包含如下四个CSV文件:

• 视频segments中的分类 - 训练集 (27Mb gzip压缩文件)
• 视频segments中的分类 - 校准集 (3.4Mb gzip压缩文件)
• 视频segments中的检测 - 训练集 (57Mb gzip压缩文件)
• 视频segments中的检测 - 校准集 (6.3Mb gzip压缩文件)

在检测CSV文件中，每一行表示一帧并且每一列如下所示：

• youtube_id 分割被提取的视频的YouTube分类号，组合网址http://youtube/%{youtube_id}跟踪到选择的视频
• timestamp_ms 视频中检测帧的时间ms
• class_id 目标类别的数值标注
• class_name 人类可读的目标类别名
• object_presence 目标是否在当前帧中
• xmin [0.0, 1.0]boundingx box最左边相对于帧大小的位置
• xmax [0.0, 1.0]boundingx box最右边相对于帧大小的位置
• ymin [0.0, 1.0]boundingx box最上边相对于帧大小的位置
• ymax [0.0, 1.0]boundingx box最下边相对于帧大小的位置

如下所示：

AAB6lO-XiKE	238000	0	person	0	present	0.482	0.54	0.37166667	0.6166667
AAB6lO-XiKE	239000	0	person	0	present	0.514	0.588	0.36333334	0.6066667
AAB6lO-XiKE	240000	0	person	0	present	0.534	0.614	0.44333333	0.685
AAB6lO-XiKE	241000	0	person	0	present	0.515	0.605	0.44833332	0.68666667

每一个视频分割片段中最多只有一个目标被跟踪，但是同一个视频中能够有多个分割，也就是说youtube_id可能有多个分割，但是youtube_id和class_id组合就只有唯一的跟踪。

---

与RNN结合的方法

• 基于对齐的时空记忆的视频目标检测
• 上下文很重要：利用循环神经网络改进视频中的目标检测
• ...

---

Seq-NMS用于视频目标检测

会议／期刊	作者	论文
arXiv: 1602.08465	KHan W, Khorrami P, Paine T L	Seq-NMS用于视频目标检测

---

基于卷积神经网络的视频管束目标检测

tubelet v1

会议／期刊	作者	论文
CVPR 2016	Kang, Kai and Ouyang, Wanli and Li, Hongsheng and Wang, Xiaogang	基于卷积神经网络的视频管束目标检测

目标定位和联合定位与VID任务似乎有着相似的topic，但是这两个问题有着本质的区别。（1）目标：目标定位或者联合定位问题假设每一个视频仅仅包含一个已知或者未知的类别，并且仅仅要求定位下一帧目标的一个物体。在VID任务中，每一个视频帧包含了未知数量的实例或者类别。VID任务更接近与真实应用。（2）评估指标：定位的评估指标通常被用来评估定位的精度，也就是在VID任务中使用的mAP。

本文主要使用了时空tubelet建议模块组合了静止图像的目标检测和通用的目标跟踪。因此该模块同时具有目标检测器的识别能力和目标跟踪器的时间一致性能力。该模块主要有三步：（1）图像目标建议，（2）目标建议打分和（3）高置信度目标跟踪。

参考资料

• vdetlib代码

---

T-CNN：基于卷积神经网络的视频管束目标检测

tubelet v2

会议／期刊	作者	论文
arXiv preprint 2016	Kang, Kai and Li, Hongsheng and Yan, Junjie and Zeng, Xingyu and Yang, Bin and Xiao, Tong and Zhang, Cong and Wang, Zhe and Wang, Ruohui and Wang, Xiaogang and Ouyang, Wanli	T-CNN：基于卷积神经网络的视频管束目标检测

这篇文章的作者团队是香港中文大学xiaogang团队，发表的多篇视频目标检测文章都是基于Video Tubelets的目标检测，其中包括Object Detection from Video Tubelets with Convolutional Neural Networks，在CVPR 2017上有对video object detection任务以及工作的介绍，链接为Deep Learning for Object Detection in Videos, by Xiaogang Wang。

使用两个多阶段更快的R-CNN 检测框架，上下文抑制，多尺度训练/测试，ConvNet跟踪器，基于光流的分数传播和模型组合。

参考资料

• 视频目标检测 - 基于卷积神经网络的视频管束目标检测

---

基于管束提案网络的视频目标检测

tubelet v3

会议／期刊	作者	论文
CVPR 2017	Kang, Kai and Li, Hongsheng and Xiao, Tong and Ouyang, Wanli and Yan, Junjie and Liu, Xihui and Wang, Xiaogang	基于管束提案网络的视频目标检测

tubelet proposal networks系列。

参考代码TPN 相较于RPN，生成了一系列基于视频管道的区域建议。

参考资料

• TPN代码
• CuVideo - 基于TubeLets和多上下文线索的视频目标检测 workshop讲座。
• Kai Kang 作者主页。

---

视频识别中的深度特征流

dff v1

参考代码Deep-Feature-Flow

现代的CNN网络架构共享相同的结构。大部分网络层是卷积并且因此导致了最大的计算代价。中间的卷积特征map和输入图像有着相似的空间extent（通常更小的分辨率，比如小16X）。它们在low level的图像内容和中高级语义概念保持了空间的对应性。这种对应性能够提供使用空间warping（和光流法相似）将邻近帧的特征轻量传播的用处。

在这项工作中，我们提出了深入的特征流，快速和准确的视频识别方法。 它应用了一个图像稀疏关键帧上的识别网络。 它传播深度特征从关键帧映射到其他帧流场。 如图1中所示，两个中间体特征地图响应“汽车”和“人”概念。它们在附近的两个框架上相似。 传播后，传播的特征与原始特征类似。

通常，光流估计和特征传播比卷积特征的计算快得多。因此，避免了计算瓶颈实现了显着的加速。 当流场也是通过网络估计，整个架构都经过培训端到端，具有图像识别和流网络针对识别任务进行了优化。 识别准确性显着提升。

简要可以这么理解，在关键帧使用稠密的网络进行检测，同时保存保留了一致性的先前的网络特征，非关键帧使用关键帧的这个网络特征以及稀疏的网络（预测光流）进行检测。

总结来说，深度特征流方法DFF是一个用来视频识别的快速精确，通用的端到端的框架。

本文提出的方法示意图如下所示，其中第一列为关键帧的原图，网络结构183和289输出的卷积特征，第二列为当前帧的原图，网络结构183和289输出的卷积特征，第三列为当前帧的光流估计和通过计算的传播的特征map，可以看出通过使用关键帧的卷及特征和光流的传播的特征map和当前帧直接在网络的输出几乎相同。

本文提出的网络处理过程和每一帧的网络框架区别如下所示，其中每一帧网络per-frame network处理每一帧，并且每一帧都会输入特征提取网络提取特征，同时将提取的特征输入到识别任务中输出最后的任务结果，而本文提出的DFF深度特征光流网络DFF网络仅仅对关键帧提取特征，然后当前帧（非关键帧，即两个关键帧之间的frame）和关键帧输入到光流估计函数F中，将关键帧提取的特征和光流估计结果输入至传播函数propagation中，然后输入到输出task任务中得到当前帧的任务结果。

参考资料

• 读书笔记Deep Feature Flow for Video Recognition
• 视频检测分割--Deep Feature Flow for Video Recognition
• 视频物体检测文献阅读笔记

---

光流引导的特征聚合用于视频目标检测

dff v2

会议／期刊	作者	论文
ICCV 2017	Xizhou Zhu，Yujie Wang，Jifeng Dai，Lu Yuan，Yichen Wei	光流引导的特征聚合用于视频目标检测

代码配置见[./doc/fgfa_understanding.md]。

和deep feature flow的思路相似，通过光流的方法增强视频目标检测，相关代码。FGFA基于光流的多帧特征聚合。

参考资料

• 视频demo

---

向高性能视频目标检测迈进

dff v3

会议／期刊	作者	论文
CVPR2018	Xizhou Zhu, Jifeng Dai, Lu Yuan, Yichen Wei.	向高性能视频目标检测迈进

本文和《基于光流的视频目标检测特征聚合》以及DFF架构，均出自同一位作者之手，三篇文章可以串联起来阅读。

参考资料

• 光流在视频检测和分割中的再应用 对这篇论文的中文解读。
• 向高性能视频目标检测迈进论文笔记

---

面向移动设备的高性能视频目标检测

dff v4

这篇文章的基本结构与基于光流传播的DFF等方法类似，但进一步探索了如何降低计算开销，使其适用于移动设备。作者是Jifeng Dai代季峰，该系列工作主要来自微软亚洲研究院代季峰实验室的研究成果。

参考资料

• 面向移动设备的高性能视频目标检测论文笔记

---

基于尺度-时间格子优化视频目标检测

本文提出了一种新方法，通过在尺度-时间维度上重新分配计算资源来优化视频目标检测。

具体而言，自然视频帧之间具有很强的连续性，这提示我们可以通过时序传播计算来进一步降低计算成本。通常，基于视频的目标检测是一个多步骤的过程，例如图像目标检测中的时序传播、稀疏到密集的微调等，这些都可以视为其中的独立步骤。然而，尽管对单个步骤的优化已有大量研究，一个关键问题仍未解决：“如何以最具成本效益的方式将这些步骤结合起来？”

尺度-时间格子提供了一种统一的框架，将上述步骤表示为格子中不同节点之间的有向连接。从这一视角出发，可以清晰地分析各步骤的贡献，并合理分配计算资源。

文中实验对比了在VID数据集上常用的几种方法，包括DFF、TPN+LSTM、FGFA、D&T，以及本文提出的尺度-时间格子方法。具体比较结果如下图所示：

与DFF使用光流传播关键帧的稠密特征不同，本文主要采用MHI编码运动信息来传播帧间运动特征。下图比较了不同传播方法在不同关键帧间隔下的精度：左图为整体精度对比，右图为针对不同运动速度目标的检测精度对比。比较方法包括插值法、RGB差值法和MHI法。从右图可以看出，使用MHI方法在检测快速运动目标时精度提升最为明显。

• 尺度-时间格子相关代码

网络结构如下所示，其中小红点表示关键帧上的检测结果，方格点表示尺度-时间格子（即时空格子）的结果。黑色虚线表示直接映射或缩放，蓝色实线表示空间上的传播，蓝色虚线表示空间上的微调。图中水平方向的操作代表时间上的传播，垂直方向的操作代表空间上的细化。PRU表示传播与精炼单元，它是构成格子的主要组件，用于完成时间传播和空间细化。

PRU接收两个连续关键帧的检测结果作为输入，将其传播到参考帧，并通过细化输出到下一尺度。

参考资料

• 基于尺度-时间格子优化视频目标检测 中文摘要。
• 代码何时发布 相关代码目前尚未公开。
• 基于尺度-时间格子优化视频目标检测项目演示视频。
• 基于尺度-时间格子优化视频目标检测项目主页。
• CVPR 2018 | 商汤科技论文详解：基于尺度-时间网格的视频中物体检测算法 尺度时间网格相关知乎文章。

---

检测转跟踪，跟踪转检测

相关代码Detect-Track和py-Detect-Track代码python。

文章指出：在视频目标检测与跟踪任务中，近期的方法大多以检测为第一步，随后通过后处理手段（如应用跟踪器）将检测结果随时间传播。“检测-跟踪”范式虽然取得了显著进展，但仍受限于逐帧检测方法的性能。

近年来，视频目标检测引起了广泛关注，尤其是在ImageNet视频目标检测挑战（VID）推出之后。与ImageNet图像目标检测挑战（DET）不同，VID要求在视频序列中检测目标，这带来了额外的挑战：（i）数据规模：VID包含约130万张图像，而DET约为40万张，COCO则约为10万张；（ii）运动模糊：由相机或目标快速运动引起；（iii）质量：互联网视频的质量通常低于静态照片；（iv）部分遮挡：由于物体或观察者的相对位置所致；（v）姿态：视频中常见非常规的物体与相机角度。下图展示了VID数据集中的示例图像。

光流

增加与video_obj并行的光流论文研究。

相关资料

• 基于空间金字塔网络的光流估计 pytorch-spynet代码
• PWC-Net: 使用金字塔、变形和代价体积进行光流估计的CNN，代码

---

FlowNet：利用卷积网络学习光流

使用卷积网络进行光流估计。

参考资料

• flownet2-pytorch实现了Flownet2。
• FlowNetPytorch可作为参考实现，帮助理解FlowNet的网络结构。
• 论文笔记：FlowNet
• CNN光流计算--FlowNet：利用卷积网络学习光流

---

无监督视频深度与自运动估计

无监督视频深度与自运动估计项目主页

---

GPU

NVIDIA® Tesla® P100 GPU加速器为现代数据中心释放了强大的计算能力。它基于全新的NVIDIA Pascal™架构，构建出极高速的计算节点，其性能可媲美数百个速度较慢的通用计算节点。通过使用更少但更快的节点，既能降低成本，又能大幅提升数据中心的吞吐量。

参考资料

• NVIDIA® TESLA® P100

---

其他

• 关于视频目标检测与跟踪的稳定性，探讨了相关问题。

video_obj 快速上手指南

video_obj 是一个专注于基于视频的目标检测算法的研究项目集合。它整理了相关的论文综述、数据集资源及核心算法实现思路，旨在利用视频中的时间上下文信息（Temporal Context），解决单帧检测中存在的计算冗余、运动模糊及小目标检测困难等问题。

注意：本项目主要定位为算法研究与资料汇总库，部分模块（如 Seq-NMS、TPN、Deep Feature Flow）提供了参考代码链接。以下指南将指导您如何配置环境并运行相关核心算法代码。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 macOS
• Python 版本: Python 3.6 - 3.8 (深度学习社区主流版本)
• GPU 支持: 推荐使用 NVIDIA GPU 以加速光流计算和 CNN 推理 (需安装 CUDA 和 cuDNN)
• 前置依赖:
  • PyTorch 或 TensorFlow (根据具体子模块要求，多数经典论文实现基于 PyTorch/Caffe)
  • OpenCV (cv2)
  • NumPy, SciPy
  • 光流计算库 (如 flow-net 相关依赖或 OpenCV contrib)

安装步骤

由于 video_obj 是多个算法实现的综述与整理，建议先克隆仓库获取资料，然后针对您感兴趣的具体算法模块（如 TPN, Deep-Feature-Flow, Seq-NMS）进行单独安装。

1. 克隆项目

git clone https://github.com/myfavouritekk/video_obj.git
cd video_obj

2. 创建虚拟环境 (推荐)

python3 -m venv venv
source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate

3. 安装基础依赖

建议使用国内镜像源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注：若根目录无 requirements.txt，请进入具体算法子目录（如 TPN/ 或 Deep-Feature-Flow/）安装对应的依赖。

4. 安装特定算法模块示例 (以 TPN 为例)

如果需要运行 Tubelet Proposal Networks (TPN) 相关代码：

cd TPN
# 安装该模块特定依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 编译可能的 CUDA 扩展 (如果有)
python setup.py build_ext --inplace

基本使用

本项目的核心在于利用多帧信息进行检测。以下以最典型的视频目标检测流程为例，展示如何调用相关逻辑（具体脚本名称可能因子模块不同而略有差异）。

1. 准备数据

确保您已下载视频数据集（如 ILSVRC2015 VID 或 YouTube-BoundingBoxes），并按照 PASCAL VOC 格式整理好标注文件。 数据结构示例：

data/
├── ILSVRC2015_VID_train_0000/
│   ├── ILSVRC2015_train_00025030/
│   │   ├── 000000.JPEG
│   │   ├── 000000.xml
│   │   └── ...

2. 运行检测脚本

进入具体算法目录，执行检测命令。以下命令展示了加载预训练模型并对视频文件夹进行推理的典型用法：

# 示例：运行 TPN 进行视频目标检测
python tools/test_video_det.py \
    --config configs/tpn_vid_config.yaml \
    --checkpoint checkpoints/tpn_vid_pretrained.pth \
    --input_dir data/ILSVRC2015_VID_val_0000 \
    --output_dir results/det_output

3. 使用 Seq-NMS 进行后处理优化

如果您已有单帧检测结果，可以使用 Seq-NMS 模块利用时序信息优化置信度：

# 示例：运行 Seq-NMS 后处理
python tools/run_seq_nms.py \
    --det_results results/single_frame_dets.pkl \
    --output results/seq_nms_optimized.pkl \
    --score_threshold 0.5

4. 结果查看

生成的输出通常包含带有边界框的视频文件或 JSON 格式的检测结果。您可以使用 OpenCV 或专用可视化工具查看：

import cv2

cap = cv2.VideoCapture('results/demo_output.avi')
while cap.isOpened():
    ret, frame = cap.read()
    if not ret: break
    cv2.imshow('Video Object Detection', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

---

提示：更多详细算法原理、论文解读及数据集下载链接，请参阅项目根目录下的 README 文档及各子模块的详细说明。