弱监督语义分割列表

本仓库包含当前最先进的弱监督语义分割相关工作列表。论文和资源按照不同的监督类型分类列出。

其中包含一些个人见解和注释，若不感兴趣可直接跳过。

最后更新时间：2019年4月

• 论文列表
  • 实例级
  • 边界框
  • 一次-shot
  • 其他
• 资源

一些无监督的分割提议方法和数据集请参见这里。

CVPR 2018教程：WSL 网页&PPT，第一部分，第二部分

典型的弱监督分割问题

序号	监督方式	难度	应用领域	核心问题
1	边界框	中等	已标注类别	迁移学习
2	一次-shot分割	中等	相似物体	一次-shot学习
3	图像/视频标签	困难	已标注类别	迁移学习
4	其他	不适用	不适用	不适用

1.边界框监督

• 基于边界框的类别区域掩码与填充率引导损失的弱监督语义分割, CVPR 2019

• 学会分割一切, CVPR 2018

  :从标注良好的子集中学习权重迁移，基于Mask-RCNN将特定类别的权重（输出层）从检测和分类分支迁移到分割任务中。

• 伪掩码增强的目标检测, CVPR 2018

  :利用边界框标注实现的最先进弱监督实例分割。通过EM算法优化伪掩码和分割参数，类似于Boxsup的方法。同时采用图割算法在超像素基础上进一步细化伪掩码。

• 简单有效：弱监督实例与语义分割, CVPR 2017 [网页] [参考代码][补充材料]

  :结合Grabcut+(HED边界)和MCG技术，直接使用生成的掩码训练前景分割网络，对训练图像的质量较为敏感。

• 弱监督与半监督条件下卷积神经网络用于语义图像分割的学习, ICCV 2015

  :基于CRF进行精炼，但EM算法似乎效果不佳。

• BoxSup：利用边界框监督卷积网络进行语义分割, ICCV 2015

  :通过迭代更新参数和区域建议标签，建议由网络输出的掩码来选择。

• Deepcut：基于卷积神经网络从边界框标注中进行目标分割, TMI 2017

• 用于半监督语义分割的对抗性学习, BMVC 2018, [代码]

2.一次-shot分割监督

DAVIS挑战赛：http://davischallenge.org/

: Davis17/18（半监督视频分割任务），Davis16则是针对没有第一帧标注的视频显著性目标分割。

• 通过追踪部件实现快速准确的在线视频目标分割, CVPR 2018（亮点论文） [代码]

  :目前最先进的方法，82.4%/1.8秒；77.9%/0.6秒。

• OSVOS：一次-shot视频目标分割, CVPR 2017 [网页][代码]

  :里程碑式的工作，通过第一帧的掩码微调父网络，达到79.8%/10秒的效果。

3.图像/视频标签监督

• 弱监督目标定位中的自生成指导, ECCV 2018

• 用于弱监督语义分割的卷积单纯形投影网络（CSPN）, BMVC 2018

• 利用类别峰值响应进行弱监督实例分割, CVPR 2018（亮点论文）

  :仅使用类别标签实现实例分割的最新实践。

• 通过迭代挖掘常见目标特征进行弱监督语义分割, CVPR 2018

  :超像素-> RegionNet（RoI分类器）-> 显著性精炼，再通过PixelNet（FCN）迭代更新。

• 重新审视扩张卷积：一种用于弱监督和半监督语义分割的简单方法, CVPR 2018（亮点论文）

• 具有深度种子区域生长的弱监督语义分割网络, CVPR 2018 [网页][代码]

• 用于弱监督目标定位的对抗性互补学习, CVPR 2018

• 在图像级监督下学习像素级语义亲和力以实现弱监督语义分割, CVPR 2018

• 基于弱监督学习的多证据过滤与融合用于多标签分类、目标检测和语义分割, CVPR 2018

• 利用网络爬取的视频进行弱监督语义分割, CVPR 2017（亮点论文） [网页]

• 通过对抗性擦除进行目标区域挖掘：一种从分类到语义分割的简单方法, CVPR 2017

• WILDCAT：用于图像分类、点位定位和分割的弱监督深度卷积网络学习, CVPR 2017 [网页][代码]

• 学习随机游走标签传播以实现弱监督语义分割, CVPR 2017（口头报告）

• 结合自底向上、自顶向下及平滑性线索进行弱监督图像分割, CVPR 2017

• 使用超像素池化网络的弱监督语义分割，AAAI 2017

• 从弱标签和噪声标签中学习用于语义分割，PAMI 2017

• 通过观看YouTube视频学习人体分割，PAMI 2017

• 种子、扩展、约束：弱监督图像分割的三条原则，ECCV 2016 [代码]

• 用于弱监督自顶向下显著性的回溯式ScSPM图像分类器，CVPR 2016，TIP 2018 版本

• 用于弱监督分割的约束卷积神经网络，ICCV 2015 [代码]

• 利用卷积网络实现从图像级到像素级的标注，CVPR 2015

资源

• 魏云超关于[基于图像标签的WSL]的中文演讲 (http://www.iqiyi.com/w_19ru51f0nh.html)

Arxiv论文

• 学习利用先验网络知识进行弱监督语义分割，Arxiv1804

• 基于生成对抗与排序网络的弱监督目标发现，Arxiv 1711

3.1 深度激活

传播方法	论文
全局最大池化(GMP)	目标定位是免费的吗？——基于卷积神经网络的弱监督学习,CVPR 2015
全局平均池化(GAP)	学习判别性定位的深度特征 CVPR 2016
对数求和指数池化(LSE)	ProNet: 为级联神经网络学习提出特定于目标的边界框,CVPR 2016
全局加权排名池化(GWRP)	SEC ECCV 2016
全局排名最大-最小池化(GRP)	WILDCAT, CVPR 2017

3.2 弱监督检测/定位（待办）

• PCL：用于弱监督目标检测的提案聚类学习，PAMI 2018 [代码]

• 弱监督区域建议网络和目标检测，ECCV 2018

• TS2C：结合周围分割上下文的紧密框挖掘，用于弱监督目标检测，ECCV 2018

• 用于弱监督目标检测的之字形学习，CVPR 2018

• W2F：一种从弱监督到全监督的目标检测框架，CVPR 2018

• 面向快速弱监督检测的生成对抗学习，CVPR 2018

• 用于弱监督目标检测的最小熵潜在模型，CVPR 2018，PAMI19，[代码]

• 弱监督级联卷积网络，CVPR 2017

• 具有在线实例分类器精炼功能的多实例检测网络，CVPR 2017 [代码]

4.其他监督方式

点标注

• Deep Extreme Cut：从极端点到目标分割，CVPR 2018 [网页][代码]
• 何谓点？：基于点标注的语义分割，ECCV 2016 [网页][代码]

笔画标注

• 用于弱监督CNN分割的归一化切割损失，CVPR 2018
• ScribbleSup：基于笔画标注的语义分割卷积网络，CVPR 2016
• 在各种弱监督形式下学习分割，CVPR 2015

5.相关或未发表的工作

• 通过剪切和粘贴学习分割，Arxiv 1803

• WebSeg：从网络搜索中学习语义分割，Arxiv1803

• 关于弱监督CNN分割的正则化损失，Arxiv1803

• 通过迭代软边界分配进行弱监督动作分割，CVPR 2018

• 通过渐进式领域适应实现跨领域的弱监督目标检测，CVPR 2018

• 利用图像标签进行弱监督显著目标检测，AAAI 2018

• 使用简单的FCN和合成数据集在杂货货架上进行弱监督目标定位，Arxiv 1803

• 利用多样化监督学习语义分割，WACV 2018

如有遗漏的相关工作，请通过dxzhang@zju.edu.cn告知我。

WeakSupervisedSegmentationList 快速上手指南

注意：WeakSupervisedSegmentationList 并非一个可直接安装运行的单一软件包或框架，而是一个学术资源列表仓库。它整理了弱监督语义分割（Weakly Supervised Semantic Segmentation, WSSS）领域的经典论文、代码链接、数据集及教程。

本指南将指导你如何利用该列表找到适合的工具，并部署其中典型的开源项目（以列表中提到的 DSRG 或 SEC 为例）。

环境准备

在开始探索列表中的具体算法前，请确保你的开发环境满足以下深度学习通用要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 macOS
• 硬件: NVIDIA GPU (建议显存 ≥ 8GB)，已安装 CUDA (通常需 10.0+ 或 11.x，视具体论文代码而定)
• 前置依赖:
  • Python 3.6+
  • Git
  • PyTorch 或 TensorFlow (列表中不同论文基于不同框架，需根据目标项目确认)
  • 常用科学计算库：numpy, scipy, pillow, opencv-python

国内加速建议：

• Git 克隆加速：若直接从 GitHub 克隆速度慢，可使用 Gitee 镜像或配置 git clone https://ghproxy.com/https://github.com/...。
• Python 包安装：推荐使用清华源或阿里源。

  pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  

• 模型权重下载：列表中许多项目需要从 Google Drive 下载预训练模型，国内用户建议使用 IDM 或多线程下载器，或寻找对应的百度网盘搬运资源。

安装步骤

由于本仓库是资源列表，没有统一的 pip install 命令。你需要根据列表选择具体的算法项目进行安装。以下以列表中推荐的经典项目 DSRG (Deep Seeded Region Growing) 为例演示流程：

1. 克隆目标项目代码 从 README 的 "Image/video label supervision" 章节找到 DSRG 的代码链接并克隆：

   git clone https://github.com/speedinghzl/DSRG.git
   cd DSRG
   

2. 安装项目依赖 进入项目目录后，通常会有 requirements.txt。如果没有，请根据项目说明手动安装核心库（以 PyTorch 版本为例）：

   # 示例：安装基础依赖
   pip install -r requirements.txt
   
   # 若无 requirements.txt，通常需手动安装如下核心库
   pip install torch torchvision opencv-python numpy scipy pillow
   

3. 准备数据集与预训练模型

   • 下载 PASCAL VOC 2012 数据集（弱监督分割常用基准）。
   • 根据项目 README 指示下载预训练的 ImageNet 权重文件（如 resnet101-imagenet.pth），并放置在项目指定的 weights/ 或 data/ 目录下。

基本使用

弱监督分割的核心在于**仅使用图像级标签（Image-level labels）**训练分割网络。以下是基于典型项目（如 DSRG 或 SEC）的最小化使用流程：

1. 数据预处理

生成初始的种子图（Seeds）或伪掩码（Pseudo Masks）。部分项目提供脚本自动完成：

# 示例：生成初始种子区域 (具体命令视项目而定)
python generate_seed.py --dataset voc2012 --split train

2. 训练模型

使用图像级标签启动训练。弱监督方法通常采用多阶段训练策略（如先训练分类网络生成 CAM，再训练分割网络）。

# 示例：启动训练
# --gpu 指定显卡 ID, --dataset 指定数据路径, --labels 指定图像级标签文件
python train.py --gpu 0 --dataset ./data/VOC2012 --labels ./data/voc12/train_cls.txt

3. 推理与评估

使用训练好的模型对验证集进行预测，生成分割掩码：

# 示例：运行测试
python test.py --gpu 0 --weights ./snapshots/best_model.pth --output ./results

4. 查看结果

生成的分割结果通常保存在 ./results 目录中，格式为 PNG 图片。你可以使用以下 Python 代码快速可视化：

import cv2
import matplotlib.pyplot as plt

img = cv2.imread('original_image.jpg')
mask = cv2.imread('./results/prediction.png')

plt.figure(figsize=(15, 5))
plt.subplot(1, 2, 1); plt.title("Original"); plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB)); plt.axis('off')
plt.subplot(1, 2, 2); plt.title("Segmentation Mask"); plt.imshow(mask); plt.axis('off')
plt.show()

---

提示：若要尝试列表中其他类型的弱监督任务（如边界框监督 BoxSup 或一点分割 One-Shot），请回到主列表页面，点击对应论文的 [code] 链接，并遵循该项目独立的文档进行操作。