令人惊叹的视频异常检测

用于视频异常检测的论文及已发布的代码集合。

如有任何补充或错误，请提交 issue、pull request，或发送邮件至 fjchange@hotmail.com。

最新更新

• AAAI 2022
• CVPR 2022

数据集

0. UMN 下载链接
1. UCSD 下载链接
2. 地铁出入口 下载链接
3. CUHK 大道 下载链接
   • HD-Avenue 基于骨架
4. 上海理工 下载链接
   • HD-ShanghaiTech 基于骨架
5. UCF-Crime（弱监督）
   • UCFCrime2Local（UCF-Crime 的子集，但带有空间标注。）下载链接，Ano-Locality
   • 空间时间标注 下载链接 背景偏置
6. 交通-火车
7. Belleview
8. 街景（WACV 2020）街景, 下载链接
9. IITB-走廊（WACV 2020）Rodrigurs.etl
10. XD-Violence（ECCV 2020）XD-Violence下载链接
11. ADOC（ACCV 2020）ADOC下载链接
12. UBnormal（CVPR 2022）[UBnormal] 项目链接 开放集

以下数据集涉及行车记录仪视频或监控视频中的交通事故预测

1. CADP (汽车碰撞事故检测与预测)

2. DAD 论文, 下载链接

3. A3D 论文，下载链接

4. DADA 下载链接

5. DoTA 下载链接

6. Iowa DOT 下载链接

7. Driver_Anomaly 项目链接

---

无监督

2016年

1. [Conv-AE] 学习视频序列中的时间规律，CVPR 16。代码

2017年

1. [Hinami.etl] 通过学习深度通用知识联合检测和重新计数异常事件，ICCV 2017。（可解释的 VAD）
2. [Stacked-RNN] 在堆叠 RNN 框架中重新审视基于稀疏编码的异常检测，ICCV 2017。代码
3. [ConvLSTM-AE] 利用卷积 LSTM 记住历史以进行异常检测，ICME 2017。代码
4. [Conv3D-AE] 用于视频异常检测的空间–时间自编码器，ACM MM 17。
5. [Unmasking] 揭开视频中的异常事件，ICCV 17。
6. [DeepAppearance] 用于视频中异常行为检测的深度外观特征

2018年

1. [FramePred] 用于异常检测的未来帧预测——一个新的基线，CVPR 2018。代码
2. [ALOOC] 用于新颖性检测的对抗式学习的一类分类器，CVPR 2018。代码
3. 无需了解正常情况即可检测异常：一种用于无监督视频异常事件检测的两阶段方法，ACM MM 18。

2019年

1. [Mem-AE] 记忆正常以检测异常：用于无监督异常检测的记忆增强深度自编码器, ICCV 2019。代码
2. [基于骨架] 学习视频中骨架轨迹的规律性以进行异常检测, CVPR 2019。代码
3. [以目标为中心] 以目标为中心的自编码器和虚拟异常用于异常事件检测, CVPR 2019。
4. [外观-运动对应关系] 基于外观-运动对应关系的视频序列异常检测, ICCV 2019。代码
5. [AnoPCN]AnoPCN：基于深度预测编码网络的视频异常检测, ACM MM 2019。

2020年

1. [街景] 街景：一个新的视频异常检测数据集及评估协议, WACV 2020。
2. [Rodrigurs.etl]) 多时间尺度轨迹预测用于异常人类活动检测, WACV 2020。
3. [GEPC] 用于异常检测的图嵌入姿态聚类, CVPR 2020。代码
4. [自训练] 用于端到端视频异常检测的自训练深度序数回归, CVPR 2020。
5. [MNAD] 学习记忆引导的正常模式用于异常检测, CVPR 2020。代码
6. [持续AD]] 监控视频中异常检测的持续学习,CVPR 2020研讨会。
7. [OGNet] 旧即是金：重新定义对抗学习的一类分类器训练范式, CVPR 2020。代码
8. [任意-shot] 监控视频中的任意-shot顺序异常检测,CVPR 2020研讨会。
9. [少-shot]少-shot场景自适应异常检测ECCV 2020亮点 代码
10. [CDAE]用于视频异常检测的聚类驱动深度自编码器ECCV 2020
11. [VEC]完形填空助力：通过学习完成视频事件实现有效的视频异常检测ACM MM 2020口头报告 代码
12. [ADOC][校园一日——单摄像头事件异常检测数据集] ACCV 2020
13. [CAC]用于视频异常检测的聚类注意力对比 ACM MM 2020
14. [STC-图]场景感知上下文推理用于视频中无监督异常事件检测 ACM MM 2020

2021年

1. [AMCM]用于视频异常检测的外观-运动记忆一致性网络 AAAI 2021
2. [SSMT，自监督多任务]通过自监督和多任务学习进行视频异常检测 CVPR 2021
3. [HF2-VAD]一种混合视频异常检测框架，通过记忆增强的流重建和流引导的帧预测实现ICCV 2021口头报告
4. [ROADMAP]通过多路径帧预测实现鲁棒的无监督视频异常检测TNNLS 2021
5. [AEP]通过对抗性事件预测进行异常事件检测与定位 TNNLS 2021

2022年

1. [Casual]从因果推断角度看无监督视频异常检测AAAI 2022
2. [BDPN]双向预测网络中的全面正则化用于视频异常检测AAAI 2022
3. [GCL]生成式协作学习用于无监督视频异常检测CVPR 2022

弱监督

2018年

1. [Sultani.etl] 监控视频中的真实世界异常检测, CVPR 2018 代码

2019年

1. [GCN-Anomaly] 图卷积标签噪声清理器：训练即插即用的动作分类器用于异常检测, CVPR 2019, 代码
2. [MLEP] 基于边缘学习嵌入预测的少样本视频异常检测, IJCAI 2019代码。
3. [IBL] 带有互补内部袋损失的时序卷积网络用于弱监督异常检测。ICIP 19。
4. [Motion-Aware] 运动感知特征用于改进视频异常检测。BMVC 19。

2020年

1. [Siamese] 使用孪生网络学习距离函数以定位视频中的异常, WACV 2020。
2. [AR-Net] 基于中心引导判别学习的弱监督视频异常检测, ICME 2020。代码
3. ['XD-Violence'] 不仅要观察，还要倾听：在弱监督下学习多模态暴力检测 ECCV 2020
4. [CLAWS] CLAWS：利用正常性抑制的聚类辅助弱监督学习进行异常事件检测 ECCV 2020

2021年

1. [MIST] MIST：用于视频异常检测的多实例自训练框架 CVPR 2021 项目页面
2. [RTFM] 基于长短时程特征对比学习的弱监督视频异常检测 ICCV 2021代码
3. [STAD]监控视频中的弱监督时空异常检测 IJCAI 2021
4. [WSAL]从弱标签视频中定位异常TIP 2021 代码
5. [CRFD]学习因果时序关系和特征判别用于异常检测TIP 2021

2022年

1. [MSL]基于Transformer的自训练多序列学习用于弱监督视频异常检测AAAI 2022

监督学习

2019年

1. [Background-Bias]探索背景偏差用于监控视频中的异常检测, ACM MM 19。
2. [Ano-Locality]视频监控中的异常局部性。

其他

2020年

1. [Few-Shot]少样本场景自适应异常检测 ECCV 2020代码

---

综述 / 调查

1. 基于深度学习的无监督和半监督视频异常检测方法综述，J. Image, 2018年。页面
2. 异常检测中的深度学习：综述，论文
3. 智能监控中的视频异常检测 论文
4. 单场景视频异常检测综述，TPAMI 2020 论文。

书籍

1. 离群点分析。Charu C. Aggarwal

特定场景

---

一般来说，近年来的异常检测研究大多基于行人数据集（如UCSD、Avenue、ShanghaiTech等），或UCF-Crime（真实世界异常）。 然而，也有一些研究专注于特定场景，如下所示。

交通

CVPR研讨会，AI City挑战赛系列。

第一人称交通

​ 无监督的第一人称视频中的交通事故检测，IROS 2019。

驾驶

​ 何时、何地、何事？用于驾驶视频异常检测的新数据集。github

老人跌倒

打斗/暴力

1. 监控视频中基于定位引导的格斗动作检测。ICME 2019。

社会/群体异常

1. Social-BiGAT：使用自行车GAN和图注意力网络进行多模态轨迹预测，NeurIPS 2019。

相关主题：

1. 视频表示（无监督视频表示、重建、预测等）
2. 目标检测
3. 行人检测
4. 骨骼检测
5. 图神经网络
6. GAN
7. 动作识别 / 时间动作定位
8. 度量学习
9. 标签噪声学习
10. 跨模态/多模态
11. 字典学习
12. 单类分类 / 新奇检测 / 分布外检测
13. 动作识别。
    • 事件中的人：一个用于复杂事件中以人为中心的视频分析的大规模基准测试。ACM MM 2020研讨会。

性能评估方法

1. AUC
2. PR-AUC
3. 分数差距
4. 正常情况下的误报率，阈值为0.5（弱监督，由CVPR 18提出）

正如Issue #12中所讨论的，如果论文提供了“宏AUC”，则以下报告的结果将被标记为“微AUC”，并附上*。

UCF-Crime 数据集上的性能对比

模型	发表于会议/期刊	监督方式	特征	编码器类型	32段	AUC (%)	常规场景下FAR@0.5 (%)
Sultani.etl	CVPR 18	弱监督	C3D RGB	X	√	75.41	1.9
IBL	ICIP 19	弱监督	C3D RGB	X	√	78.66	-
Motion-Aware	BMVC 19	弱监督	PWC 流	X	√	79.0	-
GCN-Anomaly	CVPR 19	弱监督	TSN RGB	√	X	82.12	0.1
ST-Graph	ACM MM 20	无监督	-	√	X	72.7
Background-Bias	ACM MM 19	全监督	NLN RGB	√	X	82.0	-
CLAWS	ECCV 20	弱监督	C3D RGB	√	X	83.03	-
MIST	CVPR 21	弱监督	I3D RGB	√	X	82.30	0.13
RTFM	ICCV 21	弱监督	I3D RGB	X	√	84.03	-
WSAL	TIP 21	弱监督	I3D RGB	X	√	85.38	-
CRFD	TIP 21	弱监督	I3D RGB	X	√	84.89	-
MSL	AAAI 22	弱监督	C3D RGB	√	X	82.85	-
MSL	AAAI 22	弱监督	I3D RGB	√	X	85.30	-
MSL	AAAI 22	弱监督	VideoSwin-RGB	√	X	85.62	-
GCL	CVPR 22	弱监督	ResNext	√	X	79.84	-
GCL	CVPR 22	无监督	ResNext	√	X	71.04	-

上海科技大学数据集上的性能对比

模型	发表会议/期刊	监督方式	特征	基于编码器	AUC(%)	FAR@0.5 (%)
Conv-AE	CVPR 16	无	-	√	60.85	-
stacked-RNN	ICCV 17	无	-	√	68.0	-
FramePred	CVPR 18	无	-	√	72.8	-
FramePred*	IJCAI 19	无	-	√	73.4	-
Mem-AE	ICCV 19	无	-	√	71.2	-
MNAD	CVPR 20	无	-	√	70.5	-
VEC	ACM MM 20	无	-	√	74.8	-
ST-Graph	ACM MM 20	无	-	√	74.7	-
CAC	ACM MM 20	无	-	√	79.3
AMMC	AAAI 21	无	-	√	73.7	-
SSMT	CVPR 21	无	-	√	82.4	-
HF2-VAD	ICCV 21	无	-	√	76.2	-
ROADMAP	TNNLS 21	无	-	√	76.6	-
BDPN	AAAI 22	无	-	√	78.1	-
MLEP	IJCAI 19	10% 测试视频带有视频标注	-	√	75.6	-
MLEP	IJCAI 19	10% 测试视频带有帧级标注	-	√	76.8	-
Sultani.etl	ICME 2020	弱监督（重新组织的数据集）	C3D-RGB	X	86.3	0.15
IBL	ICME 2020	弱监督（重新组织的数据集）	I3D-RGB	X	82.5	0.10
GCN-Anomaly	CVPR 19	弱监督（重新组织的数据集）	C3D-RGB	√	76.44	-
GCN-Anomaly	CVPR 19	弱监督（重新组织的数据集）	TSN-Flow	√	84.13	-
GCN-Anomaly	CVPR 19	弱监督（重新组织的数据集）	TSN-RGB	√	84.44	-
AR-Net	ICME 20	弱监督（重新组织的数据集）	I3D-RGB & I3D Flow	X	91.24	0.10
CLAWS	ECCV 20	弱监督（重新组织的数据集）	C3D-RGB	√	89.67
MIST	CVPR 21	弱监督（重新组织的数据集）	I3D-RGB	√	94.83	0.05
RTFM	ICCV 21	弱监督（重新组织的数据集）	I3D-RGB	X	97.21	-
CRFD	TIP 21	弱监督（重新组织的数据集）	I3D-RGB	X	97.48	-
MSL	AAAI 22	弱监督（重新组织的数据集）	C3D-RGB	X	94.81	-
MSL	AAAI 22	弱监督（重新组织的数据集）	I3D-RGB	X	96.08	-
MSL	AAAI 22	弱监督（重新组织的数据集）	VideoSwin-RGB	X	97.32	-
GCL	CVPR 22	弱监督（重新组织的数据集）	ResNext	X	86.21	-
GCL	CVPR 22	无	ResNext	X	78.93	-

大道上的性能对比

模型	发表于会议/期刊	监督方式	特征	端到端	AUC(%)
Conv-AE	CVPR 16	无	-	√	70.2
Conv-AE*	CVPR 18	无	-	√	80.0
ConvLSTM-AE	ICME 17	无	-	√	77.0
DeepAppearance	ICAIP 17	无	-	√	84.6
Unmasking	ICCV 17	无	3D梯度+VGG conv5	X	80.6
stacked-RNN	ICCV 17	无	-	√	81.7
FramePred	CVPR 18	无	-	√	85.1
Mem-AE	ICCV 19	无	-	√	83.3
Appearance-Motion Correspondence	ICCV 19	无	-	√	86.9
FramePred*	IJCAI 19	无	-	√	89.2
MNAD	CVPR 20	无	-	√	88.5
VEC	ACM MM 20	无	-	√	90.2
ST-Graph	ACM MM 20	无	-	√	89.6
CAC	ACM MM 20	无	-	√	87.0
AMMC	AAAI 21	无	-	√	86.6
SSMT	CVPR 21	无	-	√	91.5
HF2-VAD	ICCV 21	无	-	√	91.1
ROADMAP	TNNLS 21	无	-	√	88.3
AEP	TNNLS 21	无	-	√	90.2
Causal	AAAI 22	无	I3D-RGB	X	90.3
BDPN	AAAI 22	无	-	√	90.3
MLEP	IJCAI 19	10%测试视频带视频标注	-	√	91.3
MLEP	IJCAI 19	10%测试视频带帧级标注	-	√	92.8

XD-Violence上的性能对比

模型	发表于会议/期刊	监督方式	特征	编码器为基础	32段	AP(%)
Sultani et al.	ECCV 2020（由Wu报道）	弱监督	I3D-RGB	X	√	73.20
Wu et al.	ECCV 2020	弱监督	C3D-RGB	X	X	67.19
Wu et al.	ECCV 2020	弱监督	I3D-RGB+音频	X	X	78.64
RTFM	ICCV 2021	弱监督	I3D-RGB	X	√	77.81
CRFD	TIP 2021	弱监督	I3D-RGB	X	√	75.90
MSL	AAAI 2022	弱监督	C3D-RGB	X	X	75.53
MSL	AAAI 2022	弱监督	I3D-RGB	X	X	78.28
MSL	AAAI 2022	弱监督	VideoSwin-RGB	X	X	78.59

awesome-video-anomaly-detection 快速上手指南

awesome-video-anomaly-detection 是一个视频异常检测（Video Anomaly Detection, VAD）领域的开源资源合集，收录了相关的学术论文、代码实现以及数据集。本指南将帮助你快速了解如何利用该仓库获取资源并运行经典模型。

环境准备

在开始之前，请确保你的开发环境满足以下基本要求。由于该仓库包含多个不同年份和架构的模型（如 Conv-AE, Mem-AE, Sultani.etl 等），具体依赖可能因模型而异，但通用环境如下：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 macOS。Windows 用户建议使用 WSL2。
• Python: 3.6 - 3.9 (根据具体模型代码要求，较新的模型通常需要 3.8+)。
• 深度学习框架: PyTorch (1.7+) 或 TensorFlow (1.15/2.x)，视具体选择的模型代码库而定。
• 硬件: 推荐使用 NVIDIA GPU (显存建议 8GB 以上) 以加速训练和推理。
• 其他依赖:
  • git: 用于克隆仓库。
  • ffmpeg: 用于视频预处理。
  • opencv-python: 用于图像读取和处理。

国内加速建议：

• Git 克隆: 如果访问 GitHub 速度慢，可使用国内镜像源（如 Gitee 上的同步镜像，若有）或配置 Git 代理。
• Python 包安装: 推荐使用清华源或阿里源安装依赖。

  pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
  

安装步骤

由于这是一个资源列表（Awesome List）而非单一的可执行软件，没有统一的安装命令。你需要根据需求选择具体的论文模型进行部署。以下是通用的操作流程：

1. 克隆资源列表仓库

首先获取该合集的索引信息：

git clone https://github.com/fjchange/awesome-video-anomaly-detection.git
cd awesome-video-anomaly-detection

2. 选择并克隆具体模型代码

浏览 README 中的 Unsupervised (无监督) 或 Weakly-Supervised (弱监督) 章节，找到你感兴趣的模型（例如 2019 年的经典模型 Mem-AE 或 2018 年的 Sultani.etl）。

点击对应条目中的 [Code] 链接跳转到具体代码仓库。以 Mem-AE 为例：

# 示例：克隆 Mem-AE 模型代码
git clone https://github.com/donggong1/memae-anomaly-detection.git
cd memae-anomaly-detection

3. 安装模型特定依赖

进入具体模型目录后，通常会有独立的 requirements.txt 或 setup.py。

# 创建虚拟环境 (推荐)
python -m venv venv
source venv/bin/activate  # Windows 使用: venv\Scripts\activate

# 安装依赖 (优先使用国内源)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 准备数据集

根据 README 中的 Datasets 部分下载所需数据（如 UCSD Ped2, ShanghaiTech, UCF-Crime 等）。

• 注意: 大部分数据集需要手动下载并解压到项目指定的目录（通常为 data/ 或 dataset/）。
• 示例: 对于 Mem-AE，通常需要下载 UCSD Ped2 数据集，并按照 README 指示转换为帧图像格式。

基本使用

以下以无监督学习经典模型 Mem-AE (ICCV 2019) 为例，展示最基础的训练与测试流程。其他模型的使用逻辑类似，请参考各自仓库的说明。

1. 数据预处理

大多数 VAD 模型需要将视频转换为图像帧序列。如果仓库未提供自动脚本，需手动处理：

# 示例：使用 ffmpeg 将视频拆分为帧 (假设输入视频为 test.avi)
mkdir frames
ffmpeg -i test.avi -qscale:v 2 frames/frame_%04d.jpg

2. 训练模型

在配置好数据集路径后，运行训练脚本。

# 示例命令 (具体参数请参照该模型 README)
python main.py --dataset ucfd_ped2 --mode train --gpu 0

训练完成后，模型权重通常会保存在 checkpoint/ 或 models/ 目录下。

3. 推理与异常检测

使用训练好的模型对测试视频进行检测，生成异常分数曲线或标记后的视频。

# 示例命令
python main.py --dataset ucfd_ped2 --mode test --weights checkpoint/best_model.pth --video_path data/test_videos/01.avi

4. 结果查看

• 输出文件: 通常会生成包含异常分数的 .txt 文件或带有可视化框的 .avi/.mp4 视频。
• 评估: 如果拥有标注数据，可计算 AUC (Area Under Curve) 指标来评估性能。

---

提示: 该仓库涵盖了从 2016 年到 2022+ 的众多算法。初学者建议从 Unsupervised -> 2019 -> Mem-AE 或 Weakly-Supervised -> 2018 -> Sultani.etl 入手，这两个模型代码成熟度较高，社区支持较好，适合快速复现和理解视频异常检测的基本原理。