GCNet 用于目标检测

作者：Yue Cao，Jiarui Xu，Stephen Lin，Fangyun Wei，Han Hu。

本仓库是 "GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond"（GCNet：非局部网络遇见挤压激励网络及更多）在 COCO 目标检测上的官方实现，基于 open-mmlab 的 mmdetection。核心操作模块 GC 块可以在这里找到 这里。 非常感谢 mmdetection 提供简洁且清晰的框架。

2020/12/07 更新

GCNet 的扩展版本已被 TPAMI 接收 (PDF)。

2019/10/28 更新

GCNet 获得了 ICCV 2019 Neural Architects Workshop 的 最佳论文奖！

2019/07/01 更新

代码已重构。 提供了更多结果，所有配置文件可以在 configs/gcnet 中找到。

注意：PyTorch 官方 SyncBN 和 Apex SyncBN 都存在一些稳定性问题。 在训练过程中，mAP 可能在最后几个 epoch 中下降到零然后恢复正常。

2019/06/03 更新

GCNet 已被官方 mmdetection 仓库支持 这里。 再次感谢 open-mmlab 对开源项目的贡献。

简介

GCNet 最初描述于 arxiv。通过吸收非局部网络（NLNet）和挤压激励网络（SENet）的优点，GCNet 提供了一种简单、快速且有效的全局上下文建模方法，在各种识别任务的主要基准测试中通常优于 NLNet 和 SENet。

引用 GCNet

@article{cao2019GCNet,
  title={GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond},
  author={Cao, Yue and Xu, Jiarui and Lin, Stephen and Wei, Fangyun and Hu, Han},
  journal={arXiv preprint arXiv:1904.11492},
  year={2019}
}

主要结果

R50-FPN 骨干网络的结果 (fixBN)

骨干网络	模型	骨干网络归一化	头部	上下文	学习率调度	内存 (GB)	训练时间 (秒/迭代)	推理时间 (帧/秒)	box AP	mask AP	下载
R50-FPN	Mask	fixBN	2fc (w/o BN)	-	1x	3.9	0.453	10.6	37.3	34.2	model
R50-FPN	Mask	fixBN	2fc (w/o BN)	GC(c3-c5, r16)	1x	4.5	0.533	10.1	38.5	35.1	model
R50-FPN	Mask	fixBN	2fc (w/o BN)	GC(c3-c5, r4)	1x	4.6	0.533	9.9	38.9	35.5	model
R50-FPN	Mask	fixBN	2fc (w/o BN)	-	2x	-	-	-	38.2	34.9	model
R50-FPN	Mask	fixBN	2fc (w/o BN)	GC(c3-c5, r16)	2x	-	-	-	39.7	36.1	model
R50-FPN	Mask	fixBN	2fc (w/o BN)	GC(c3-c5, r4)	2x	-	-	-	40.0	36.2	model

R50-FPN 使用 backbone（同步批归一化，syncBN）的结果

骨干网络	模型	骨干网络归一化	头部结构	上下文	学习率计划	显存占用 (GB)	训练时间 (秒/迭代)	推理时间 (帧率)	边界框 AP	分割掩码 AP	下载
R50-FPN	Mask	SyncBN	2fc（无 BN）	-	1x	3.9	0.543	10.2	37.2	33.8	model
R50-FPN	Mask	SyncBN	2fc（无 BN）	GC(c3-c5, r16)	1x	4.5	0.547	9.9	39.4	35.7	model
R50-FPN	Mask	SyncBN	2fc（无 BN）	GC(c3-c5, r4)	1x	4.6	0.603	9.4	39.9	36.2	model
R50-FPN	Mask	SyncBN	2fc（无 BN）	-	2x	3.9	0.543	10.2	37.7	34.3	model
R50-FPN	Mask	SyncBN	2fc（无 BN）	GC(c3-c5, r16)	2x	4.5	0.547	9.9	39.7	36.0	model
R50-FPN	Mask	SyncBN	2fc（无 BN）	GC(c3-c5, r4)	2x	4.6	0.603	9.4	40.2	36.3	model
R50-FPN	Mask	SyncBN	4conv1fc（SyncBN）	-	1x	-	-	-	38.8	34.6	model
R50-FPN	Mask	SyncBN	4conv1fc（SyncBN）	GC(c3-c5, r16)	1x	-	-	-	41.0	36.5	model
R50-FPN	Mask	SyncBN	4conv1fc（SyncBN）	GC(c3-c5, r4)	1x	-	-	-	41.4	37.0	model

更强主干网络的结果

主干网络	模型	主干网络归一化	头部结构	上下文模块	学习率调度	显存占用 (GB)	训练时间 (秒/迭代)	推理时间 (帧率)	边界框 AP	分割掩码 AP	下载链接
R101-FPN	Mask	fixBN	2fc (w/o BN)	-	1x	5.8	0.571	9.5	39.4	35.9	model
R101-FPN	Mask	fixBN	2fc (w/o BN)	GC(c3-c5, r16)	1x	7.0	0.731	8.6	40.8	37.0	model
R101-FPN	Mask	fixBN	2fc (w/o BN)	GC(c3-c5, r4)	1x	7.1	0.747	8.6	40.8	36.9	model
R101-FPN	Mask	SyncBN	2fc (w/o BN)	-	1x	5.8	0.665	9.2	39.8	36.0	model
R101-FPN	Mask	SyncBN	2fc (w/o BN)	GC(c3-c5, r16)	1x	7.0	0.778	9.0	41.1	37.4	model
R101-FPN	Mask	SyncBN	2fc (w/o BN)	GC(c3-c5, r4)	1x	7.1	0.786	8.9	41.7	37.6	model
X101-FPN	Mask	SyncBN	2fc (w/o BN)	-	1x	7.1	0.912	8.5	41.2	37.3	model
X101-FPN	Mask	SyncBN	2fc (w/o BN)	GC(c3-c5, r16)	1x	8.2	1.055	7.7	42.4	38.0	model
X101-FPN	Mask	SyncBN	2fc (w/o BN)	GC(c3-c5, r4)	1x	8.3	1.037	7.6	42.9	38.5	model
X101-FPN	Cascade Mask	SyncBN	2fc (w/o BN)	-	1x	-	-	-	44.7	38.3	model
X101-FPN	Cascade Mask	SyncBN	2fc (w/o BN)	GC(c3-c5, r16)	1x	-	-	-	45.9	39.3	model
X101-FPN	Cascade Mask	SyncBN	2fc (w/o BN)	GC(c3-c5, r4)	1x	-	-	-	46.5	39.7	model
X101-FPN	DCN Cascade Mask	SyncBN	2fc (w/o BN)	-	1x	-	-	-	47.1	40.4	model
X101-FPN	DCN Cascade Mask	SyncBN	2fc (w/o BN)	GC(c3-c5, r16)	1x	-	-	-	47.9	40.9	model
X101-FPN	DCN Cascade Mask	SyncBN	2fc (w/o BN)	GC(c3-c5, r4)	1x	-	-	-	47.9	40.8	model

说明

• GC 表示在主干网络的 1x1 卷积后插入了全局上下文（Global Context，GC）块。
• DCN 表示在主干网络的 c3-c5 阶段中将 3x3 卷积替换为 3x3 可变形卷积（Deformable Convolution）。
• r4 和 r16 分别表示 GC 块中的比例 4 和比例 16。
• 部分模型是在 4 块 GPU 上训练的，每块 GPU 使用 4 张图像。

要求

• Linux（测试于 Ubuntu 16.04）
• Python 3.6+
• PyTorch 1.1.0
• Cython
• apex（Sync BN）

安装

a. 按照官方指南安装 PyTorch 1.1 和 torchvision。

b. 按照此指南安装最新版本的 apex，并启用 CUDA 和 C++ 扩展。需要使用 apex 实现的 Sync BN。

c. 克隆 GCNet 仓库。

 git clone https://github.com/xvjiarui/GCNet.git 

d. 编译 CUDA 扩展。

cd GCNet
pip install cython  # 或者 "conda install cython" 如果你更喜欢 conda
./compile.sh  # 或者 "PYTHON=python3 ./compile.sh" 如果你使用系统自带的 python3 且未使用虚拟环境

e. 安装 GCNet 版本的 mmdetection（其他依赖项将自动安装）。

python(3) setup.py install  # 如果希望本地安装，可以添加 --user 参数
# 或者 "pip install ."

注意：每次从 GitHub 拉取更新后都需要运行最后一步。
或者你可以运行 python(3) setup.py develop 或 pip install -e . 来安装 mmdetection，以便频繁修改它。

更多详情请参考 mmdetection 的安装指南。

环境

硬件

• 8 块 NVIDIA Tesla V100 GPU
• Intel Xeon 4114 CPU @ 2.20GHz

软件环境

• Python 3.6.7
• PyTorch 1.1.0
• CUDA 9.0
• CUDNN 7.0
• NCCL 2.3.5

使用方法

训练

与原始的 mmdetection 一样，推荐使用分布式训练，无论是单机还是多机环境。

./tools/dist_train.sh <CONFIG_FILE> <GPU_NUM> [可选参数]

支持的参数包括：

• --validate: 在训练过程中每 k（默认为 1）个 epoch 执行一次评估。
• --work_dir : 如果指定，配置文件中的路径将被替换。

评估

要评估已训练的模型，需要提供输出文件。

python tools/test.py <CONFIG_FILE> <MODEL_PATH> [可选参数]

支持的参数包括：

• --gpus: 用于评估的 GPU 数量
• --out: 输出文件名，通常以 .pkl 结尾
• --eval: 需要的评估类型，对于 mask-rcnn，bbox segm 将同时评估边界框和掩码的 AP（平均精度）。

GCNet 快速上手指南

GCNet 是一种结合 Non-Local Networks 和 Squeeze-Excitation Networks 的全局上下文建模方法，适用于目标检测和实例分割任务。以下是快速上手指南。

---

环境准备

系统要求

• 操作系统：Linux（推荐 Ubuntu 18.04 或更高版本）
• Python 版本：3.6 或 3.7
• CUDA 和 cuDNN：建议使用 CUDA 10.2 或更高版本
• PyTorch：1.3 或更高版本

前置依赖

在安装 GCNet 之前，请确保以下工具已正确安装：

• mmdetection（GCNet 基于此框架实现）
• PyTorch 和 torchvision
• GCC >= 5.4
• OpenCV

国内用户可以通过清华镜像源加速依赖安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

---

安装步骤

1. 克隆 GCNet 代码仓库：

   git clone https://github.com/xvjiarui/GCNet.git
   cd GCNet
   

2. 安装 mmdetection 依赖：

   pip install -v -e .
   

3. 下载预训练模型权重文件（可选）： 预训练模型可以从以下链接下载：

   • 官方模型存储

   将下载的权重文件放置到 checkpoints/ 目录下。

---

基本使用

训练模型

使用以下命令启动训练任务（以 R50-FPN 为例）：

python tools/train.py configs/gcnet/mask_rcnn_r16_gcb_c3-c5_r50_fpn_1x.py

如果需要使用多 GPU 训练，可以运行：

./tools/dist_train.sh configs/gcnet/mask_rcnn_r16_gcb_c3-c5_r50_fpn_1x.py 4

其中 4 表示使用的 GPU 数量。

测试模型

使用以下命令测试模型性能：

python tools/test.py configs/gcnet/mask_rcnn_r16_gcb_c3-c5_r50_fpn_1x.py checkpoints/mask_rcnn_r16_gcb_c3-c5_r50_fpn_1x_20190602-c550c707.pth --eval bbox segm

推理示例

运行推理脚本以生成预测结果：

python demo/image_demo.py demo/demo.jpg configs/gcnet/mask_rcnn_r16_gcb_c3-c5_r50_fpn_1x.py checkpoints/mask_rcnn_r16_gcb_c3-c5_r50_fpn_1x_20190602-c550c707.pth

---

以上是 GCNet 的快速上手指南，更多配置选项请参考 configs/gcnet/ 目录下的配置文件。