路径聚合网络用于实例分割

由 Shu Liu, Lu Qi, Haifang Qin, Jianping Shi, Jiaya Jia 撰写。

简介

本仓库对应 CVPR 2018 焦点论文《Path Aggregation Network for Instance Segmentation》（PANet，路径聚合网络）。该论文在 2017 COCO 实例分割挑战赛 中获得第 1 名，在 2017 COCO 检测挑战赛 中获得第 2 名（团队名称：UCenter），并在 2018 年 非结构化环境中自主导航的场景理解挑战赛 中获得第 1 名（团队名称：TUTU）。

引用

如果 PANet（路径聚合网络）对您的研究有用，请考虑引用：

@inproceedings{liu2018path,
  author = {Shu Liu and
            Lu Qi and
            Haifang Qin and
            Jianping Shi and
            Jiaya Jia},
  title = {Path Aggregation Network for Instance Segmentation},
  booktitle = {Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2018}
}

免责声明

• 原始代码是基于商汤研究院（Sensetime Research）维护的修改版 Caffe 实现的。由于多种原因，我们无法发布原始代码。
• 在本仓库中，我们提供了基于 PyTorch 的 PANet 重新实现。请注意，我们的代码大量基于 Detectron.pytorch。感谢 Roy 的优秀工作！
• Detectron 中的几个细节，例如权重初始化和 RPN（区域提议网络）联合训练，与我们原始的实现有很大不同。在本仓库中，我们直接遵循 Detectron，因为它比我们在论文中使用的代码库实现了更好的基线性能。
• 在本仓库中，我们测试代码时固定了骨干网络（Backbone）中的 BN（批归一化）层，并在其他部分使用 GN（组归一化）。我们期望通过使用同步批归一化层（Synchronized Batch Normalization Layer）并像我们在论文中那样训练所有参数层来获得更好的性能。由于这些差异以及更好的基线，提升幅度与我们报告的不完全相同。但我们取得了比原始实现更好的性能。
• 我们使用 8 张 P40 GPU 进行图像批次大小为 16 的训练。批次大小为 8 时的性能应该相似。

安装

关于环境要求、数据准备和编译，请参考 Detectron.pytorch。

警告：pytorch 0.4.1 存在故障，参见 https://github.com/pytorch/pytorch/issues/8483。请使用 pytorch 0.4.0。

用法

对于训练和测试，我们保持与 Detectron.pytorch 相同。要训练和测试 PANet，只需使用相应的配置文件。例如，要在 COCO 上训练 PANet：

python tools/train_net_step.py --dataset coco2017 --cfg configs/panet/e2e_panet_R-50-FPN_2x_mask.yaml

要评估模型，只需使用：

python tools/test_net.py --dataset coco2017 --cfg configs/panet/e2e_panet_R-50-FPN_2x_mask.yaml --load_ckpt {path/to/your/checkpoint}

主要结果

Backbone	Type	Batch Size	LR Schedules	Box AP	Mask AP	Download Links
R-50-PANet (论文)	Faster	16	1x	39.2	-	-
R-50-PANet	Faster	16	1x	39.8	-	模型
R-50-PANet-2fc (论文)	Faster	16	1x	39.0	-	-
R-50-PANet-2fc	Faster	16	1x	39.6	-	模型
R-50-PANet (论文)	Mask	16	2x	42.1	37.8	-
R-50-PANet	Mask	16	2x	43.1	38.3	模型

本仓库在 COCO 2017 val 子集上产生的结果。在论文中，我们对所有参数层使用了同步批归一化。而在此仓库中，我们固定骨干网络中的 BN 层，并在其他部分使用 GN 层。使用相同的超参数集（例如多尺度），本仓库可以产生比原始论文中更好的性能。我们期望通过同步批归一化层获得更好的性能。

问题

请联系 'liushuhust@gmail.com'

PANet 实例分割网络 - 快速上手指南

PANet (Path Aggregation Network) 是由微软亚洲研究院等机构提出的实例分割网络，在 COCO 2017 挑战赛中取得优异成绩。本仓库提供了基于 PyTorch 的重新实现版本（原代码为 Caffe）。

1. 环境准备

本工具严重依赖 Detectron.pytorch，请确保满足以下要求：

• 操作系统: Linux / macOS / Windows (推荐 Linux)
• Python: 3.x
• 深度学习框架: PyTorch 0.4.0 (⚠️注意：PyTorch 0.4.1 存在已知问题，请勿使用)
• 硬件加速: CUDA 及 cuDNN (需与 PyTorch 版本匹配)
• 其他依赖: 参考 Detectron.pytorch 的环境配置说明进行安装。

2. 安装步骤

1. 克隆代码库

   git clone https://github.com/your-repo-url.git
   cd panet
   

2. 安装依赖 由于本仓库基于 Detectron.pytorch，请参照其官方文档完成编译和依赖安装：

   • 安装 Python 包依赖
   • 编译 C++ 扩展 (Make)
   • 准备数据集 (如 COCO 2017)

3. 下载预训练模型 根据需求下载对应的权重文件（Google Drive 链接）：

   • R-50-PANet Mask: Download Link
   • R-50-PANet Faster: Download Link (注：国内用户建议使用网盘加速工具下载)

3. 基本使用

训练模型

以 COCO 数据集为例，使用配置文件启动训练：

python tools/train_net_step.py --dataset coco2017 --cfg configs/panet/e2e_panet_R-50-FPN_2x_mask.yaml

测试模型

加载已训练的权重进行评估：

python tools/test_net.py --dataset coco2017 --cfg configs/panet/e2e_panet_R-50-FPN_2x_mask.yaml --load_ckpt {path/to/your/checkpoint}

---

性能说明： 本仓库实现了改进的基线（Backbone 使用固定 BN 层，其余部分使用 GN 层），在相同超参数下性能优于论文原始实现。若需复现论文结果，需使用同步批归一化 (Synchronized Batch Normalization) 并训练所有参数层。