Mask Transfiner

用于高质量实例分割的Mask Transfiner [Mask Transfiner, CVPR 2022]。

这是基于开源 detectron2 构建的 Transfiner 的官方 PyTorch 实现。我们的项目网站包含更多信息，包括可视化滑块对比：vis.xyz/pub/transfiner。

用于高质量实例分割的 Mask Transfiner
雷科、马丁·丹内尔扬、李霞、余永泰、唐志坚、费舍尔·余
CVPR, 2022

更新

:fire::fire: 我们在 ECCV'2022 上发布了 Video Mask Transfiner 和 HQ-YTVIS 基准测试。

亮点

• Transfiner: 具有最先进性能和极致细节的高质量实例分割。
• 新颖性: 基于四叉树结构，针对高分辨率实例掩码预测的高效Transformer。
• 有效性: 在 COCO、Cityscapes 和 BDD100k 等三个实例分割基准上，大幅提升了掩码和边界 AP。
• 简单性: 相较于标准 Transformer，额外计算开销较小且易于使用。

• :fire::fire: 体验我们的 Mask Transfiner 演示 请访问 ，由 Huggingface Spaces 提供支持。

带有四叉树 Transformer 的 Mask Transfiner

COCO test-dev 上的结果

（完整结果请参阅论文表 9，所有方法均在 COCO train2017 上训练。这是重新实现的结果，因此数值可能与我们原始论文中报告的略有不同。）

主干网络(配置)	方法	mAP(掩码)
R50-FPN	Mask R-CNN (ICCV'17)	34.2
R50-FPN	PANet (CVPR'18)	36.6
R50-FPN	MS R-CNN (CVPR'19)	35.6
R50-FPN	PointRend (1x, CVPR'20)	36.3
R50-FPN	Transfiner (1x, CVPR'22)	37.0, 预训练模型
Res-R50-FPN	BCNet (CVPR'21)	38.4
R50-FPN	Transfiner (3x, CVPR'22)	39.2, 预训练模型
R50-FPN-DCN	Transfiner (3x, CVPR'22)	40.5, 预训练模型

主干网络(配置)	方法	mAP(掩码)
R101-FPN	Mask R-CNN (ICCV'17)	36.1
R101-FPN	MS R-CNN (CVPR'19)	38.3
R101-FPN	BMask R-CNN (ECCV'20)	37.7
R101-FPN	SOLOv2 (NeurIPS'20)	39.7
R101-FPN	BCNet (CVPR'21)	39.8
R101-FPN	Transfiner (3x, CVPR'22)	40.5, 预训练模型
R101-FPN-DCN	Transfiner (3x, CVPR'22)	42.2, 预训练模型

主干网络(配置)	预训练	学习率调度	输入尺寸	方法	Val2017 上的 mAP(框)	Val2017 上的 mAP(掩码)
Swin-T,ImageNet 初始化权重 (d2 格式)	ImageNet-1k	3X	[480-800]	Transfiner	46.9	43.5, 预训练模型
Swin-B,ImageNet 初始化权重 (d2 格式)	ImageNet-22k	3X	[480-800]	Transfiner	49.8	45.5,预训练模型

LVIS 数据集 v0.5 上的结果

主干网络(配置)	学习率调度	方法	mAP(掩码)
X101-FPN	1x	Mask R-CNN	27.1
X101-FPN	1x	Transfiner	29.2, 预训练模型

简介

两阶段和基于查询的实例分割方法已经取得了显著成果。然而，它们生成的分割掩码仍然非常粗糙。在本文中，我们提出了用于高质量和高效实例分割的 Mask Transfiner。与在常规密集张量上操作不同，我们的 Mask Transfiner 将图像区域分解并表示为四叉树。我们的基于 Transformer 的方法仅处理检测到的易错节点，并并行地自我纠正其错误。尽管这些稀疏像素只占总像素数的一小部分，但它们对最终掩码质量至关重要。这使得 Mask Transfiner 能够以较低的计算成本预测出高度精确的实例掩码。大量实验表明，Mask Transfiner 在三个流行基准上优于当前的实例分割方法，在 COCO 和 BDD100K 上将两阶段和基于查询的框架的掩码 AP 分别大幅提高了 +3.0，在 Cityscapes 上则将边界 AP 提高了 +6.6。

逐步安装

conda create -n transfiner python=3.7 -y
conda activate transfiner
 
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch

# Coco API 和可视化依赖
pip install ninja yacs cython matplotlib tqdm
pip install opencv-python==4.4.0.40
# 边界依赖
pip install scikit-image
pip install kornia==0.5.11
 
export INSTALL_DIR=$PWD
 
# 安装 pycocotools。请确保已安装 cython。
cd $INSTALL_DIR
git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI
python setup.py build_ext install
 
# 安装 transfiner
cd $INSTALL_DIR
git clone --recursive https://github.com/SysCV/transfiner.git
cd transfiner/
python3 setup.py build develop
 
unset INSTALL_DIR

数据集准备

按照 此说明 准备 coco2017 数据集和 Cityscapes 数据集。

  mkdir -p datasets/coco
  ln -s /path_to_coco_dataset/annotations datasets/coco/annotations
  ln -s /path_to_coco_dataset/train2017 datasets/coco/train2017
  ln -s /path_to_coco_dataset/test2017 datasets/coco/test2017
  ln -s /path_to_coco_dataset/val2017 datasets/coco/val2017

多 GPU 训练与验证集评估

更多训练、测试和可视化命令，请参考我们的 scripts 文件夹：

bash scripts/train_transfiner_3x_101.sh

或者

bash scripts/train_transfiner_1x_50.sh

预训练模型

从上述 结果表格 下载预训练模型：

  mkdir pretrained_model
  # 并将下载的预训练模型放入该目录。

在 Test-dev 上测试

bash scripts/test_3x_transfiner_101.sh

可视化

对于基于 Swin 的模型，运行以下命令进行可视化：

bash scripts/visual_swinb.sh

引用

如果您在研究中使用了 Mask Transfiner，或参考了我们提供的基准结果，请为本仓库点赞 :star:，并考虑引用 :pencil::

@inproceedings{transfiner,
    author={Ke, Lei and Danelljan, Martin and Li, Xia and Tai, Yu-Wing and Tang, Chi-Keung and Yu, Fisher},
    title={Mask Transfiner for High-Quality Instance Segmentation},
    booktitle = {CVPR},
    year = {2022}
}  

如果您对 Video Mask Transfiner 和高质量视频实例分割数据 感兴趣：

@inproceedings{vmt,
    title = {Video Mask Transfiner for High-Quality Video Instance Segmentation},
    author = {Ke, Lei and Ding, Henghui and Danelljan, Martin and Tai, Yu-Wing and Tang, Chi-Keung and Yu, Fisher},
    booktitle = {欧洲计算机视觉大会（ECCV）},
    year = {2022}
}

相关链接

与 NeurIPS 2021 多目标跟踪与分割相关的工作：PCAN

与 CVPR 2021 遮挡感知实例分割相关的工作：BCNet

与 ECCV 2020 部分监督实例分割相关的工作：CPMask

Mask Transfiner 快速上手指南

Mask Transfiner 是一个基于 Detectron2 的高精度实例分割工具，利用四叉树（Quadtree）结构的 Transformer 高效修复掩码边界细节，在 COCO、Cityscapes 等基准测试中取得了 SOTA 性能。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.7
• CUDA: 11.0 (对应 PyTorch 1.7.1)
• 编译器: GCC, G++
• 依赖库: Cython, Ninja

注意：本项目官方基于较旧版本的 PyTorch (1.7.1) 和 Detectron2 构建。若需在新版环境中运行，可能需要修改部分兼容性代码。以下步骤严格遵循官方文档以保证复现性。

安装步骤

请按顺序执行以下命令来配置环境并安装项目。

1. 创建并激活 Conda 环境

conda create -n transfiner python=3.7 -y
conda activate transfiner

2. 安装 PyTorch 及相关工具链

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch

3. 安装基础依赖

pip install ninja yacs cython matplotlib tqdm
pip install opencv-python==4.4.0.40
pip install scikit-image
pip install kornia==0.5.11

国内加速建议：如果下载速度慢，可使用清华源或阿里源，例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <包名>。

4. 安装 pycocotools

export INSTALL_DIR=$PWD
git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI
python setup.py build_ext install
cd ../..

5. 安装 Mask Transfiner

git clone --recursive https://github.com/SysCV/transfiner.git
cd transfiner/
python3 setup.py build develop
unset INSTALL_DIR

数据集准备

本项目依赖 COCO 2017 或 Cityscapes 数据集。以 COCO 为例，请下载数据集并按以下结构建立软链接（假设数据集位于 /path_to_coco_dataset）：

mkdir -p datasets/coco
ln -s /path_to_coco_dataset/annotations datasets/coco/annotations
ln -s /path_to_coco_dataset/train2017 datasets/coco/train2017
ln -s /path_to_coco_dataset/test2017 datasets/coco/test2017
ln -s /path_to_coco_dataset/val2017 datasets/coco/val2017

基本使用

1. 下载预训练模型

从官方结果表中下载所需的预训练权重（例如 R50-FPN 3x 版本），并将其放入项目根目录下的 pretrained_model 文件夹中：

mkdir pretrained_model
# 将下载的 .pth 文件移动到此目录

2. 模型推理与可视化

项目提供了封装好的脚本进行快速测试和可视化。

运行可视化示例（默认配置）：

bash scripts/visual.sh

如果您使用的是 Swin Transformer 骨干网络模型：

bash scripts/visual_swinb.sh

3. 模型训练（可选）

如需从头训练或微调，可使用提供的脚本。以下分别为 ResNet-50 (1x schedule) 和 ResNet-101 (3x schedule) 的训练命令：

# 训练 ResNet-50 版本
bash scripts/train_transfiner_1x_50.sh

# 训练 ResNet-101 版本
bash scripts/train_transfiner_3x_101.sh

训练完成后，可使用测试脚本在 Test-dev 集上评估效果：

bash scripts/test_3x_transfiner_101.sh