SEAM

Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation（用于弱监督语义分割的自监督等变注意力机制）的实现。

你也可以从 https://gitee.com/hibercraft/SEAM 下载该仓库。

摘要

图像级弱监督语义分割是一个具有挑战性的问题，近年来已被深入研究。大多数先进方法都利用了类激活图（Class Activation Map, CAM）。然而，由于全监督与弱监督之间存在差距，CAM 很难直接作为目标掩码使用。本文提出了一种自监督等变注意力机制（Self-supervised Equivariant Attention Mechanism, SEAM），以发现额外的监督信号并缩小这一差距。我们的方法基于以下观察：在全监督语义分割中，等变性（equivariance）是一种隐式约束——在数据增强过程中，像素级标签会随输入图像进行相同的空间变换。然而，在仅使用图像级监督训练的 CAM 中，这种约束丢失了。因此，我们对来自不同变换图像所预测的 CAM 施加一致性正则化（consistency regularization），为网络学习提供自监督信号。此外，我们还提出了一个像素相关模块（Pixel Correlation Module, PCM），该模块利用上下文外观信息，并通过相似邻域像素来优化当前像素的预测，从而进一步提升 CAM 的一致性。在 PASCAL VOC 2012 数据集上的大量实验表明，我们的方法在相同监督级别下优于当前最先进的方法。

感谢 jiwoon-ahn 的工作，本仓库的代码大量借鉴了他的 AffinityNet 仓库，并沿用了相同的流程来验证我们 SEAM 方法的有效性。

依赖环境

• Python 3.6
• PyTorch 0.4.1, torchvision 0.2.1
• CUDA 9.0
• 4 块 GPU（每块 12GB 显存）

使用方法

安装

• 下载仓库。

git clone https://github.com/YudeWang/SEAM.git

• 安装 Python 依赖。

pip install -r requirements.txt

• 从 Google Drive 或 百度网盘（提取码：6nmo）下载模型权重，包括 ImageNet 预训练模型和我们的训练结果。

• 下载 PASCAL VOC 2012 devkit（按照 http://host.robots.ox.ac.uk/pascal/VOC/voc2012/#devkit 的说明操作）。建议为下载的数据集创建软链接：

ln -s $your_dataset_path/VOCdevkit/VOC2012 VOC2012

• （可选）图像级标签已包含在 voc12/cls_label.npy 中。如果你希望重新生成（通常没有必要），请下载 VOC 2012 SegmentationClassAug 训练集的标注（共 10582 张图像），可从此处下载 here，并将所有文件放置为 VOC2012/SegmentationClassAug/xxxxxx.png。然后运行以下命令：

cd voc12
python make_cls_labels.py --voc12_root VOC2012

SEAM 步骤

1. SEAM 训练

python train_SEAM.py --voc12_root VOC2012 --weights $pretrained_model --session_name $your_session_name

2. SEAM 推理

python infer_SEAM.py --weights $SEAM_weights --infer_list [voc12/val.txt | voc12/train.txt | voc12/train_aug.txt] --out_cam $your_cam_dir --out_crf $your_crf_dir

3. SEAM 步骤评估。我们提供了 Python 版 mIoU 评估脚本 evaluation.py，你也可以使用官方开发工具包。这里建议绘制不同背景得分下的 mIoU 曲线：

python evaluation.py --list VOC2012/ImageSets/Segmentation/[val.txt | train.txt] --predict_dir $your_cam_dir --gt_dir VOC2012/SegmentationClass --comment $your_comments --type npy --curve True

随机游走（Random Walk）步骤

随机游走步骤与 AffinityNet 仓库保持一致。

1. 训练 AffinityNet。

python train_aff.py --weights $pretrained_model --voc12_root VOC2012 --la_crf_dir $your_crf_dir_4.0 --ha_crf_dir $your_crf_dir_24.0 --session_name $your_session_name

2. 随机游走传播

python infer_aff.py --weights $aff_weights --infer_list [voc12/val.txt | voc12/train.txt] --cam_dir $your_cam_dir --voc12_root VOC2012 --out_rw $your_rw_dir

3. 随机游走步骤评估

python evaluation.py --list VOC2012/ImageSets/Segmentation/[val.txt | train.txt] --predict_dir $your_rw_dir --gt_dir VOC2012/SegmentationClass --comment $your_comments --type png

伪标签再训练（Pseudo Labels Retrain）

在 DeepLabv1 上进行伪标签再训练。相关代码见 此处。

引用

如果本代码对你的研究有所帮助，请引用我们的论文：

@InProceedings{Wang_2020_CVPR_SEAM,
    author = {Yude Wang and Jie Zhang and Meina Kan and Shiguang Shan and Xilin Chen},
    title = {Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation},
    booktitle = {Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
    year = {2020}
}

参考文献

[1] J. Ahn and S. Kwak. Learning pixel-level semantic affinity with image-level supervision for weakly supervised semantic segmentation. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.

SEAM 快速上手指南

环境准备

• 操作系统：Linux（推荐）
• Python 版本：3.6
• PyTorch：0.4.1
• torchvision：0.2.1
• CUDA：9.0
• GPU：4 张（每张至少 12GB 显存）

💡 提示：国内用户可从 Gitee 镜像 下载代码，速度更快。

安装步骤

1. 克隆仓库

   git clone https://github.com/YudeWang/SEAM.git
   # 或使用 Gitee 镜像（推荐国内用户）
   git clone https://gitee.com/hibercraft/SEAM.git
   cd SEAM
   

2. 安装依赖

   pip install -r requirements.txt
   

3. 下载预训练模型和权重

   • 从 百度网盘（提取码：6nmo）或 Google Drive 下载模型文件
   • 解压后放入项目根目录（包含 ImageNet 预训练模型和 SEAM 训练结果）

4. 准备 PASCAL VOC 2012 数据集

   • 下载 PASCAL VOC 2012 devkit
   • 建立软链接（假设数据集路径为 $your_dataset_path）：

     ln -s $your_dataset_path/VOCdevkit/VOC2012 VOC2012
     

   注：图像级标签已提供在 voc12/cls_label.npy，一般无需重新生成。

基本使用

1. SEAM 训练

python train_SEAM.py --voc12_root VOC2012 --weights $pretrained_model --session_name your_session

其中 $pretrained_model 替换为你下载的 ImageNet 预训练模型路径（如 res38d.pth）。

2. SEAM 推理（生成 CAM 和 CRF 结果）

python infer_SEAM.py --weights $SEAM_weights --infer_list voc12/val.txt --out_cam cam_dir --out_crf crf_dir

$SEAM_weights 为训练得到的模型权重路径。

3. 评估 CAM 结果（绘制 mIoU 曲线）

python evaluation.py --list VOC2012/ImageSets/Segmentation/val.txt --predict_dir cam_dir --gt_dir VOC2012/SegmentationClass --comment "SEAM" --type npy --curve True

后续还可进行 Random Walk 和伪标签重训练，具体参考原 README。