CenterMask2

[CenterMask(原始代码)][vovnet-detectron2][arxiv] [BibTeX]

CenterMask2 是基于 maskrcnn-benchmark，在 detectron2 的基础上对原版 CenterMask 进行升级实现的。

CenterMask：实时无锚点实例分割 (CVPR 2020)
Youngwan Lee 和 Jongyoul Park
电子与电信研究院 (ETRI)
预印本：https://arxiv.org/abs/1911.06667

亮点

• 首个 无锚点一阶段实例分割。 据我们所知，CenterMask 是首个基于无锚点目标检测的实例分割方法（2019年11月15日）。
• 迈向实时：CenterMask-Lite。 该工作不仅提供了大规模的 CenterMask，还推出了轻量级的 CenterMask-Lite，能够以实时速度（>30 fps）运行。
• 最先进的性能。 CenterMask 在速度远快于 Mask R-CNN、TensorMask 和 ShapeMask 的同时，表现也优于这些方法；CenterMask-Lite 模型更是大幅超越了 YOLACT 或 YOLACT++。
• 平衡良好的骨干网络 VoVNetV2。 VoVNetV2 在性能和速度上均优于 ResNe(X)t 或 HRNet。

更新内容

• CenterMask2 已发布。（2020年2月20日）
• 轻量级 VoVNet 已发布。（2020年2月26日）
• Panoptic-CenterMask 已发布。（2020年3月31日）
• 代码更新，兼容 PyTorch 1.7 和最新版 detectron2。（2020年12月22日）

COCO 验证集上的结果

注意

我们在同一台 V100 GPU 机器上，以批大小为 1 的方式测量所有模型的推理时间。

• PyTorch 1.7.0
• CUDA 10.1
• cuDNN 7.3
• 多尺度增强
• 除非特别说明，未使用测试时增强（TTA）

CenterMask

方法	骨干网络	学习率调度	推理时间	掩码 AP	框 AP	下载
Mask R-CNN (detectron2)	R-50	3倍	0.055	37.2	41.0	模型 | 指标
Mask R-CNN (detectron2)	V2-39	3倍	0.052	39.3	43.8	模型 | 指标
CenterMask (maskrcnn-benchmark)	V2-39	3倍	0.070	38.5	43.5	链接
CenterMask2	V2-39	3倍	0.050	39.7	44.2	模型 | 指标
Mask R-CNN (detectron2)	R-101	3倍	0.070	38.6	42.9	模型 | 指标
Mask R-CNN (detectron2)	V2-57	3倍	0.058	39.7	44.2	模型 | 指标
CenterMask (maskrcnn-benchmark)	V2-57	3倍	0.076	39.4	44.6	链接
CenterMask2	V2-57	3倍	0.058	40.5	45.1	模型 | 指标
Mask R-CNN (detectron2)	X-101	3倍	0.129	39.5	44.3	模型 | 指标
Mask R-CNN (detectron2)	V2-99	3倍	0.076	40.3	44.9	模型 | 指标
CenterMask (maskrcnn-benchmark)	V2-99	3倍	0.106	40.2	45.6	链接
CenterMask2	V2-99	3倍	0.077	41.4	46.0	模型 | 指标
CenterMask2 (TTA)	V2-99	3倍	-	42.5	48.6	模型 | 指标

• TTA 表示测试时增强（多尺度测试）。

CenterMask-Lite

方法	骨干网络	学习率调度	推理时间	掩码 AP	框 AP	下载
YOLACT550	R-50	4倍	0.023	28.2	30.3	链接
CenterMask (maskrcnn-benchmark)	V-19	4倍	0.023	32.4	35.9	链接
CenterMask2-Lite	V-19	4倍	0.023	32.8	35.9	模型 | 指标
YOLACT550	R-101	4倍	0.030	28.2	30.3	链接
YOLACT550++	R-50	4倍	0.029	34.1	-	链接
YOLACT550++	R-101	4倍	0.036	34.6	-	链接
CenterMask (maskrcnn-benchmark)	V-39	4倍	0.027	36.3	40.7	链接
CenterMask2-Lite	V-39	4倍	0.028	36.7	40.9	模型 | 指标

• 注意：为了与 YOLACT 公平比较，推理时间是在 Titan Xp GPU 上测量的。

轻量级VoVNet主干网络

方法	主干网络	参数量	学习率调度	推理时间	掩码AP	边界框AP	下载
CenterMask2-Lite	MobileNetV2	350万	4倍	0.021秒	27.2	29.8	模型 | 指标
CenterMask2-Lite	V-19	1120万	4倍	0.023秒	32.8	35.9	模型 | 指标
CenterMask2-Lite	V-19-Slim	310万	4倍	0.021秒	29.8	32.5	模型 | 指标
CenterMask2-Lite	V-19Slim-DW	180万	4倍	0.020秒	27.1	29.5	模型 | 指标

• DW和Slim分别表示深度可分离卷积和通道数减半的更轻量级模型。
• __参数量__指主干网络的参数数量。

可变形VoVNet主干网络

方法	主干网络	学习率调度	推理时间	掩码AP	边界框AP	下载
CenterMask2	V2-39	3倍	0.050秒	39.7	44.2	模型 | 指标
CenterMask2	V2-39-DCN	3倍	0.061秒	40.3	45.1	模型 | 指标
CenterMask2	V2-57	3倍	0.058秒	40.5	45.1	模型 | 指标
CenterMask2	V2-57-DCN	3倍	0.071秒	40.9	45.5	模型 | 指标
CenterMask2	V2-99	3倍	0.077秒	41.4	46.0	模型 | 指标
CenterMask2	V2-99-DCN	3倍	0.110秒	42.0	46.9	模型 | 指标

• DCN表示可变形卷积网络v2。请注意，我们在主干网络的第3到第5阶段应用了可变形卷积。

全景-CenterMask

方法	主干网络	学习率调度	推理时间	掩码AP	边界框AP	PQ	下载
全景-FPN	R-50	3倍	0.063秒	40.0	36.5	41.5	模型 | 指标
全景-CenterMask	R-50	3倍	0.063秒	41.4	37.3	42.0	模型 | 指标
全景-FPN	V-39	3倍	0.063秒	42.8	38.5	43.4	模型 | 指标
全景-CenterMask	V-39	3倍	0.066秒	43.4	39.0	43.7	模型 | 指标
全景-FPN	R-101	3倍	0.078秒	42.4	38.5	43.0	模型 | 指标
全景-CenterMask	R-101	3倍	0.076秒	43.5	39.0	43.6	模型 | 指标
全景-FPN	V-57	3倍	0.070秒	43.4	39.2	44.3	模型 | 指标
全景-CenterMask	V-57	3倍	0.071秒	43.9	39.6	44.5	模型 | 指标
全景-CenterMask	V-99	3倍	0.091秒	45.1	40.6	45.4	模型 | 指标

安装

使用CenterMask2所需的一切是Detectron2。非常简单！
只需按照INSTALL.md安装[Detectron2]即可。
请按照此说明准备COCO数据集。

训练

ImageNet 预训练模型

我们为 detectron2 提供了在 ImageNet-1k 数据集上预训练的骨干网络权重。

• MobileNet-V2
• VoVNetV2-19-Slim-DW
• VoVNetV2-19-Slim
• VoVNetV2-19
• VoVNetV2-39
• VoVNetV2-57
• VoVNetV2-99

要训练一个模型，请运行：

cd centermask2
python train_net.py --config-file "configs/<config.yaml>"

例如，要在 8 块 GPU 上使用 VoVNetV2-39 骨干网络启动 CenterMask 训练，应执行：

cd centermask2
python train_net.py --config-file "configs/centermask/centermask_V_39_eSE_FPN_ms_3x.yaml" --num-gpus 8

评估

模型评估可以类似地进行：

• 如果您希望用 1 个批次进行推理，请使用 --num-gpus 1
• --eval-only
• MODEL.WEIGHTS path/to/the/model.pth

cd centermask2
wget https://dl.dropbox.com/s/tczecsdxt10uai5/centermask2-V-39-eSE-FPN-ms-3x.pth
python train_net.py --config-file "configs/centermask/centermask_V_39_eSE_FPN_ms_3x.yaml" --num-gpus 1 --eval-only MODEL.WEIGHTS centermask2-V-39-eSE-FPN-ms-3x.pth

待办事项

• 添加轻量级模型
• 将 CenterMask 应用于 PointRend 或 Panoptic-FPN。

引用 CenterMask

如果您使用 VoVNet，请使用以下 BibTeX 条目。

@inproceedings{lee2019energy,
  title = {一种面向实时目标检测的节能且高效利用 GPU 的骨干网络},
  author = {Lee, Youngwan 和 Hwang, Joong-won 和 Lee, Sangrok 和 Bae, Yuseok 和 Park, Jongyoul},
  booktitle = {IEEE 计算机视觉与模式识别研讨会论文集},
  year = {2019}
}

@inproceedings{lee2020centermask,
  title={CenterMask: 实时无锚点实例分割},
  author={Lee, Youngwan 和 Park, Jongyoul},
  booktitle={CVPR},
  year={2020}
}

特别感谢

mask scoring for detectron2 by Sangrok Lee
FCOS_for_detectron2 by AdeliDet 团队。

CenterMask2 快速上手指南

环境准备

• 系统要求：Linux 或 Windows（推荐 Ubuntu 20.04+）
• Python 版本：3.7–3.9
• PyTorch：1.7.0+
• CUDA：10.1 或 11.1+
• Detectron2：最新版（与 PyTorch 1.7+ 兼容）

推荐使用国内镜像加速依赖安装：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

安装步骤

1. 克隆 CenterMask2 仓库：

   git clone https://github.com/youngwanLEE/CenterMask2.git
   cd CenterMask2
   

2. 安装 Detectron2（推荐从源码安装以确保兼容）：

   pip install detectron2 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu118/torch1.13/index.html
   

3. 安装其他依赖：

   pip install -r requirements.txt
   

4. 编译自定义算子（如需）：

   python setup.py build develop
   

基本使用

1. 下载预训练模型（以 CenterMask2-V2-39 为例）：

   wget https://dl.dropbox.com/s/tczecsdxt10uai5/centermask2-V-39-eSE-FPN-ms-3x.pth -O output/centermask2-V-39-eSE-FPN-ms-3x.pth
   

2. 使用默认配置运行推理：

   python demo/demo.py --config-file configs/centermask/centermask2_V_39_eSE_FPN_ms_3x.yaml --input path/to/your/image.jpg --output output/ --opts MODEL.WEIGHTS output/centermask2-V-39-eSE-FPN-ms-3x.pth
   

3. 输出结果将保存在 output/ 目录下，包含带实例分割掩码的图像。

支持批量图像输入，模型权重可替换为其他版本（如 V-57、V-99 或 Lite 系列）。