基于重叠双层结构的深度遮挡感知实例分割 [BCNet, CVPR 2021]

这是基于开源 detectron2 构建的 BCNet 的官方 PyTorch 实现。

基于重叠双层结构的深度遮挡感知实例分割
Lei Ke, Yu-Wing Tai, Chi-Keung Tang
CVPR 2021

亮点

• BCNet: 具有最先进性能的两阶段/单阶段（先检测后分割）实例分割方法。
• 新颖性: 一种新的掩码头部设计，通过 双层解耦（对象边界与掩码） 对同一 RoI 中的遮挡物和被遮挡物进行显式遮挡建模。
• 有效性: 对 FCOS（无锚框）和 Faster R-CNN（基于锚框）检测器均有显著提升。
• 简单性: 额外计算开销小，易于使用。

遮挡物体可视化

我们 BCNet 的定性实例分割结果，采用 ResNet-101-FPN 和 Faster R-CNN 检测器。底部一行展示了由两个 GCN 层对遮挡物和被遮挡物在红色边界框指定的 同一 ROI 区域 中的 物体轮廓和掩码预测 的平方热图，这也使得 BCNet 的最终分割结果比以往方法更具可解释性。第四列示例中 GCN-1 的热图可视化显示，BCNet 通过将同一 RoI 内的多个遮挡物分组来处理它们。更多可视化示例和对比请参阅我们的论文。

我们 BCNet 的定性实例分割结果，采用 ResNet-101-FPN 和 FCOS 检测器。

COCO test-dev 上的结果

（完整结果请参见论文表 8，所有方法均在 COCO train2017 上训练）

两阶段检测器	主干网络	方法	mAP(mask)
Faster R-CNN	Res-R50-FPN	Mask R-CNN (ICCV'17)	34.2
Faster R-CNN	Res-R50-FPN	PANet (CVPR'18)	36.6
Faster R-CNN	Res-R50-FPN	MS R-CNN (CVPR'19)	35.6
Faster R-CNN	Res-R50-FPN	PointRend (1x CVPR'20)	36.3
Faster R-CNN	Res-R50-FPN	BCNet (CVPR'21)	38.4
Faster R-CNN	Res-R101-FPN	Mask R-CNN (ICCV'17)	36.1
Faster R-CNN	Res-R101-FPN	MS R-CNN (CVPR'19)	38.3
Faster R-CNN	Res-R101-FPN	BMask R-CNN (ECCV'20)	37.7
无框	Res-R101-FPN	SOLOv2 (NeurIPS'20)	39.7
Faster R-CNN	Res-R101-FPN	BCNet (CVPR'21)	39.8

单阶段检测器	主干网络	方法	mAP(mask)
FCOS	Res-R101-FPN	BlendMask (CVPR'20)	38.4
FCOS	Res-R101-FPN	CenterMask (CVPR'20)	38.3
FCOS	Res-R101-FPN	SipMask (ECCV'20)	37.8
FCOS	Res-R101-FPN	CondInst (ECCV'20)	39.1
FCOS	Res-R101-FPN	BCNet (CVPR'21)	39.6, 预训练模型, 提交文件
FCOS	Res-X101 FPN	BCNet (CVPR'21)	41.2

简介

对高度重叠的物体进行分割具有挑战性，因为通常无法区分真实的物体轮廓和遮挡边界。与以往的两阶段实例分割方法不同，BCNet 将图像形成建模为两个重叠图像层的组合，其中顶层 GCN 层检测遮挡物（occluder），底层 GCN 层推断部分遮挡的实例（occludee）。通过双层结构对遮挡关系的显式建模，自然地解耦了遮挡物和被遮挡物的边界，并在掩码回归过程中考虑了它们之间的相互作用。 我们在不同主干和网络层选择的一阶段和两阶段目标检测器上验证了双层解耦的有效性。BCNet 的网络架构如下：

掩码头部架构的简要比较，详细信息请参阅我们的论文。

逐步安装

conda create -n bcnet python=3.7 -y
source activate bcnet
 
conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit=10.1 -c pytorch
 
# FCOS 和 coco api 以及可视化依赖项
pip install ninja yacs cython matplotlib tqdm
pip install opencv-python==4.4.0.40
# 边界依赖项
pip install scikit-image
 
export INSTALL_DIR=$PWD
 
# 安装 pycocotools。请确保已安装 cython。
cd $INSTALL_DIR
git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI
python setup.py build_ext install
 
# 安装 BCNet
cd $INSTALL_DIR
git clone https://github.com/lkeab/BCNet.git
cd BCNet/
python3 setup.py build develop
 
unset INSTALL_DIR

数据集准备

按照 此说明 准备 coco2017 数据集。并使用我们转换后的掩码标注文件（google drive 或 onedrive) 替换原始标注文件，以进行双层解耦训练。

  mkdir -p datasets/coco
  ln -s /path_to_coco_dataset/annotations datasets/coco/annotations
  ln -s /path_to_coco_dataset/train2017 datasets/coco/train2017
  ln -s /path_to_coco_dataset/test2017 datasets/coco/test2017
  ln -s /path_to_coco_dataset/val2017 datasets/coco/val2017

多GPU训练及在验证集上的评估

bash all.sh

或者

CUDA_VISIBLE_DEVICES=0,1 python3 tools/train_net.py --num-gpus 2 \
	--config-file configs/fcos/fcos_imprv_R_50_FPN.yaml 2>&1 | tee log/train_log.txt

预训练模型

FCOS版本下载：链接

  mkdir pretrained_models
  #并将下载的预训练模型放入该目录。

在Test-dev数据集上测试

export PYTHONPATH=$PYTHONPATH:`pwd`
CUDA_VISIBLE_DEVICES=0,1 python3 tools/train_net.py --num-gpus 2 \
	--config-file configs/fcos/fcos_imprv_R_101_FPN.yaml \
	--eval-only MODEL.WEIGHTS ./pretrained_models/xxx.pth 2>&1 | tee log/test_log.txt

可视化

bash visualize.sh

生成双层掩码标注的参考脚本：

bash process.sh

COCO-OCC划分：

COCO-OCC划分下载：链接，具体细节在论文中有所介绍。

引用

如果您在研究中使用了BCNet，或参考了提供的基线结果，请为本仓库点赞 :star:，并考虑引用 :pencil::

@inproceedings{ke2021bcnet,
    author = {Ke, Lei and Tai, Yu-Wing and Tang, Chi-Keung},
    title = {Deep Occlusion-Aware Instance Segmentation with Overlapping BiLayers},
    booktitle = {CVPR},
    year = {2021}
}  

相关高质量实例分割工作：

@inproceedings{transfiner,
    author={Ke, Lei and Danelljan, Martin and Li, Xia and Tai, Yu-Wing and Tang, Chi-Keung and Yu, Fisher},
    title={Mask Transfiner for High-Quality Instance Segmentation},
    booktitle = {CVPR},
    year = {2022}
}

相关遮挡处理工作：

@inproceedings{ke2021voin,
  author = {Ke, Lei and Tai, Yu-Wing and Tang, Chi-Keung},
  title = {Occlusion-Aware Video Object Inpainting},
  booktitle = {ICCV},
  year = {2021}
}

相关链接

Youtube视频 | 海报|知乎文章

与CVPR 2022相关的高质量实例分割工作：Mask Transfiner

与NeurIPS 2021相关的多目标跟踪与分割工作：PCAN

与ECCV 2020相关的部分监督实例分割工作：CPMask

许可证

BCNet采用MIT许可证发布。更多详情请参阅 LICENSE 文件。 感谢第三方库 detectron2。

问题

请在GitHub上提交Issue，或联系‘lkeab@cse.ust.hk’

BCNet 快速上手指南

BCNet 是一种基于重叠双层（Overlapping BiLayers）设计的实例分割网络，专为解决严重遮挡场景下的实例分割问题而设计。该工具基于 Detectron2 构建，支持 Faster R-CNN（两阶段）和 FCOS（单阶段）检测器，在 COCO 数据集上取得了 SOTA 性能。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.7
• CUDA: 10.1
• PyTorch: 1.4.0
• 显存: 建议 8GB 以上（多卡训练更佳）

前置依赖:

• ninja, yacs, cython, matplotlib, tqdm
• opencv-python==4.4.0.40
• scikit-image
• pycocotools

注意: 由于项目依赖特定版本的 PyTorch (1.4.0) 和 CUDA (10.1)，建议使用 Conda 创建独立虚拟环境以避免冲突。

安装步骤

请依次执行以下命令完成环境配置和代码安装：

# 1. 创建并激活 Conda 环境
conda create -n bcnet python=3.7 -y
source activate bcnet

# 2. 安装 PyTorch 和 torchvision (指定版本 1.4.0 + CUDA 10.1)
# 若国内下载缓慢，可尝试使用清华源：-c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit=10.1 -c pytorch

# 3. 安装基础依赖
pip install ninja yacs cython matplotlib tqdm
pip install opencv-python==4.4.0.40
pip install scikit-image

# 4. 设置环境变量并安装 pycocotools
export INSTALL_DIR=$PWD
cd $INSTALL_DIR
git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI
python setup.py build_ext install

# 5. 克隆并安装 BCNet
cd $INSTALL_DIR
git clone https://github.com/lkeab/BCNet.git
cd BCNet/
python3 setup.py build develop

# 6. 清理环境变量
unset INSTALL_DIR

基本使用

1. 数据集准备

本项目基于 COCO 2017 数据集。您需要下载原始数据集，并替换为作者提供的双层掩码标注文件（用于训练遮挡解耦模型）。

1. 下载 COCO 2017 数据集。
2. 下载转换后的标注文件：Google Drive 或 OneDrive。
3. 按照以下结构建立软链接（假设数据集路径为 /path_to_coco_dataset）：

mkdir -p datasets/coco
ln -s /path_to_coco_dataset/annotations datasets/coco/annotations
ln -s /path_to_coco_dataset/train2017 datasets/coco/train2017
ln -s /path_to_coco_dataset/test2017 datasets/coco/test2017
ln -s /path_to_coco_dataset/val2017 datasets/coco/val2017

请将下载的转换后标注文件覆盖到 datasets/coco/annotations 对应目录中。

2. 下载预训练模型

如果您只想进行测试或微调，请先下载预训练权重。以 FCOS 版本为例：

mkdir pretrained_models
# 将下载的 .pth 文件放入 pretrained_models 目录
# 下载地址：https://hkustconnect-my.sharepoint.com/:u:/g/personal/lkeab_connect_ust_hk/EfiDFLLEawFJpruwuOl3h3ABBjAKysTf0qJQU80iaKbqYg?e=igzC51

3. 运行示例

方案 A：一键脚本（推荐）

项目提供了封装好的脚本，可直接启动多卡训练或评估：

# 训练与验证（需修改 all.sh 内部配置以匹配您的显卡数量）
bash all.sh

方案 B：手动命令

多卡训练示例 (使用 2 张 GPU, FCOS + ResNet-50):

CUDA_VISIBLE_DEVICES=0,1 python3 tools/train_net.py --num-gpus 2 \
	--config-file configs/fcos/fcos_imprv_R_50_FPN.yaml 2>&1 | tee log/train_log.txt

仅测试/评估示例 (使用预训练模型在 Test-dev 集上评估):

export PYTHONPATH=$PYTHONPATH:`pwd`
CUDA_VISIBLE_DEVICES=0,1 python3 tools/train_net.py --num-gpus 2 \
	--config-file configs/fcos/fcos_imprv_R_101_FPN.yaml \
	--eval-only MODEL.WEIGHTS ./pretrained_models/xxx.pth 2>&1 | tee log/test_log.txt

注：请将 xxx.pth 替换为您实际下载的模型文件名。

可视化结果

生成可视化图像：

bash visualize.sh