基于像素间关系的弱监督实例分割学习

代码来自：

基于像素间关系的弱监督实例分割学习，Jiwoon Ahn、Sunghyun Cho 和 Suha Kwak，CVPR 2019 [论文]

本仓库包含一个利用图像级类别标签作为监督信号来学习实例分割的框架。我们方法的核心组件是像素间关系网络（IRNet），它能够估计两种信息：位移向量场和类别边界图，这两者随后被用于从 CAM 中生成伪实例掩码。

引用

如果您觉得此代码有用，请考虑使用以下 BibTeX 条目引用我们的论文。

@InProceedings{Ahn_2019_CVPR,
author = {Ahn, Jiwoon and Cho, Sunghyun and Kwak, Suha},
title = {基于像素间关系的弱监督实例分割学习},
booktitle = {IEEE 计算机视觉与模式识别会议 (CVPR)},
month = {六月},
year = {2019}
}

先决条件

• Python 3.7、PyTorch 1.1.0，以及其他依赖项见 requirements.txt
• PASCAL VOC 2012 开发工具包
• 显存大于 1024MB 的 NVIDIA GPU

使用方法

安装 Python 依赖

pip install -r requirements.txt

下载 PASCAL VOC 2012 开发工具包

• 请按照 http://host.robots.ox.ac.uk/pascal/VOC/voc2012/#devkit 上的说明操作。

运行 run_sample.py 或编写您自己的脚本

python run_sample.py

• 您可以手动编辑该文件，也可以通过命令行参数进行指定。

使用生成的伪标签训练 Mask R-CNN 或 DeepLab

• 在报告中，我们使用了 Detectron。
  • 运行 step/make_cocoann.py 以创建 COCO 格式的标注。
  • 注意：请勿使用 https://storage.googleapis.com/coco-dataset/external/PASCAL_VOC.zip 来评估 Mask R-CNN 的性能！该数据集仅包含边界框标注。
• TorchVision 现已支持 Mask R-CNN 和 DeepLab。我个人推荐使用此库。

待办事项

• MS-COCO 数据集的训练代码
• 代码重构
• IRNet v2

IRN 快速上手指南

IRN (Inter-pixel Relation Network) 是一个用于弱监督实例分割的框架，仅需图像级类别标签即可训练模型。该工具通过估计像素间关系（位移矢量场和类边界图），从类激活映射（CAMs）生成伪实例掩码。

环境准备

在开始之前，请确保满足以下系统和硬件要求：

• 操作系统: Linux (推荐)
• Python: 3.7
• 深度学习框架: PyTorch 1.1.0
• GPU: NVIDIA GPU，显存需大于 1024MB
• 数据集: PASCAL VOC 2012 devkit

安装步骤

1. 安装 Python 依赖

克隆仓库后，进入目录并安装所需依赖包。国内用户建议使用清华或阿里镜像源以加速下载：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 准备数据集

下载 PASCAL VOC 2012 devkit。请遵循官方说明进行下载和解压：

• 下载地址：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/#devkit
• 将下载的数据集放置在项目指定的数据目录中（通常需在代码配置中调整路径）。

基本使用

运行示例脚本

安装完成后，可以直接运行提供的示例脚本来生成伪标签或测试流程：

python run_sample.py

• 自定义参数：您可以直接编辑 run_sample.py 文件修改配置，或通过命令行传递参数来指定输入输出路径及超参数。

后续训练建议

本工具生成的伪标签可用于训练标准的实例分割模型（如 Mask R-CNN 或 DeepLab）：

1. 转换格式：运行 step/make_cocoann.py 将生成的伪标签转换为 COCO 格式注解。
2. 模型训练：推荐使用 TorchVision 中内置的 Mask R-CNN 或 DeepLab 模型进行后续训练（原论文使用的是 Detectron，但 TorchVision 更易于集成和维护）。

注意：请勿使用 https://storage.googleapis.com/coco-dataset/external/PASCAL_VOC.zip 来评估 Mask R-CNN 性能，该文件仅包含边界框标注，缺少实例分割所需的掩码信息。