semseg

master

语义图像分割，为图像中的每个像素分配语义标签（例如“道路”，“天空”，“人”，“狗”）的任务使得能够实现许多新应用，例如Pixel 2和Pixel 2 XL智能手机的纵向模式中提供的合成浅景深效果和移动实时视频分割。

引用自Semantic Image Segmentation with DeepLab in TensorFlow

本仓库的开发计划见项目下一步开发计划

下面将近期主要的论文整理表格以供后面进一步总结。

---

网络实现

• FCN（VGG和ResNet的骨干网络），已实现，参考fcn_understanding
• RefineNet，已实现，参考refinenet_understanging
• DUC，参考duc_understanding
• DRN，已实现
• PSPNet，参考pspnet_understanding
• ENet，已实现
• ErfNet，已实现
• EDANet，已实现
• LinkNet，已实现，参考pytorch-linknet
• FC-DenseNet，已实现，参考fcdensenet_understanding
• LRN，已实现，但是没有增加多分辨率loss训练，后期增加。
• BiSeNet，已实现，主要是ResNet-18和ResNet-101，其余类似。
• FRRN，已实现，FRRN A和FRRN B。
• 增加YOLO-V1多任务学习，还未完全测试。
• GCN
• ...

---

semantic segmentation algorithms

这个仓库旨在实现常用的语义分割算法，主要参考如下：

• pytorch-semseg
• pytorch-semantic-segmentation
• Semantic-Segmentation-Suite，和pytorch对应的tensorflow语义分割框架实现。
• awesome-semantic-segmentation，语义分割的awesome系列。
• segmentation_models，作者引入了不同backbones的不同分割模型组合，包括VGG16，VGG19，ResNet18，ResNet34，ResNet50，ResNet101，ResNet152和ResNeXt系列，DenseNet和Inception变种同UNet、LinkNet和PSPNet等结合，进一步开发将包含多种的backbones。
• SemanticSegPaperCollection
• Semantic Segmentation using Fully Convolutional Networks over the years
• Fully Convolutional Networks for Semantic Segmentation
• dataset_loaders 实现了主要的数据集的加载，包括视频，图像
• semantic-segmentation-pytorch ade20k数据集常用模型评估，其中具有caffe，pytorch和torch代码的实现
• Weakly Supervised Instance Segmentation using Class Peak Response 代码PRM
• Learning to Segment Every Thing 代码seg_every_thing
• Video Object Segmentation with Re-identification VS-ReID代码
• segmentation-networks-benchmark 评估了常用的语义分割网路的精度。
• SemanticSegmentation_DL，该仓库整理了常用的DL语义分割论文资料。
• 2015-10-09-segmentation.md handong对于语义分割的论文收集总结，参考较多。
• SemanticSegPaperCollection，相关论文收集。
• real-time-network，包含了相关实时语义分割的论文。

---

相关论文

• Adversarial Learning for Semi-supervised Semantic Segmentation 代码AdvSemiSeg
• DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs DeepLab v1，v2和v3系列论文，增加DeepLab系列论文总结，参考deeplab实现理解
• DenseASPP for Semantic Segmentation in Street Scenes
• The Lovász-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks，相应代码LovaszSoftmax。
• Video Object Segmentation with Re-identification VS-ReID代码
• Unified Perceptual Parsing for Scene Understanding
• ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation，速度非常快，在TITAN上能达到112fps。
• OCNet: Object Context Network for Scene Parsing
• PSANet: Point-wise Spatial Attention Network for Scene Parsing
• Recent progress in semantic image segmentation，简单地综述性文章，可以作为科普文章查看，意义不太大。
• Not All Pixels Are Equal: Difficulty-Aware Semantic Segmentation via Deep Layer Cascade
• Wider or Deeper: Revisiting the ResNet Model for Visual Recognition
• High-performance Semantic Segmentation Using Very Deep Fully Convolutional Networks
• Dilated Residual Networks
• Fully Convolutional Instance-aware Semantic Segmentation
• Light-Weight RefineNet for Real-Time Semantic Segmentation
• Dark Model Adaptation: Semantic Image Segmentation from Daytime to Nighttime，从白天到黑夜自适应的语义图像分割。
• Label Refinement Network for Coarse-to-Fine Semantic Segmentation
• Smoothed Dilated Convolutions for Improved Dense Prediction，非常好的一篇对于空洞卷积理解的论文，值得阅读，这篇文章将空洞卷积理解为3个分解操作，然后通过建立不同group之间的联系去除网格伪影进行。
• Characterizing Adversarial Examples Based on Spatial Consistency Information for Semantic Segmentation
• UOLO - automatic object detection and segmentation in biomedical images，联合目标检测和语义分割的框架，可以参考借鉴。
• 弱监督语义分割，参考如下。
• CGNet: A Light-weight Context Guided Network for Semantic Segmentation

---

弱监督语义分割

• Generating Self-Guided Dense Annotations for Weakly Supervised Semantic Segmentation

---

实例分割

目前暂且收集相关实例分割到语义分割目录中，待综述完成单独分离。

• Semantic Instance Segmentation with a Discriminative Loss Function

---

数据集实现

• CamVid
• PASCAL VOC
• CityScapes
• ADE20K，参考ade20k数据集相关
• Mapillary Vistas Dataset，参考Mapillary Vistas Dataset数据集相关
• ...

---

数据集增加

通过仿射变换来实现数据集增加的方法扩充语义分割数据集。

• imgaug
• Augmentor
• joint_transforms.py 使用这个脚本实现数据集增加

---

依赖

• pytorch
• ...

---

数据

• CamVid，参考camvid_dataset
• PASCAL VOC，参考pascal_voc_dataset
• CityScapes，参考cityscapes_dataset
• ...

---

用法

• 可视化 visdom 开发相关问题

# 在tmux或者另一个终端中开启可视化服务器visdom
python -m visdom.server
# 然后在浏览器中查看127.0.0.1:9097

• 训练

# 训练模型
python train.py

• 校验

# 校验模型
python validate.py

以下是相关语义分割论文粗略整理。

---

ShuffleSeg：实时语义分割网络

摘要

实时语义分割 对于移动设备和机器人相关应用具有重要意义。我们提出了一种计算效率高的分割网络，命名为 ShuffleSeg。所提出的架构在编码器中基于分组卷积和通道洗牌来提升性能。 我们对比了不同解码方法的消融实验，包括跳跃连接架构、UNet 和扩张前端。文中还探讨了速度与精度之间的有趣权衡。结果表明，解码方法中的跳跃连接架构在实现实时性能目标方面提供了最佳折衷方案，同时通过利用更高分辨率的特征图实现了足够准确的分割效果。ShuffleSeg 在 CityScapes 数据集上进行了评估，并与当前最先进的实时分割网络进行了对比。它在计算量上减少了 2 倍 GFLOPs，而在 CityScapes 测试集上仍能保持与之相当的平均交并比（mIoU）——达到 58.3%。ShuffleSeg 在 NVIDIA Jetson TX2 上可达到 15.7 帧/秒 的运行速度，这使其在实时应用中具有巨大潜力。

会议／期刊	作者	论文	代码
arXiv: 1803.03816	Mostafa Gamal, Mennatullah Siam, Moemen Abdel-Razek	ShuffleSeg：实时语义分割网络	TFSegmentation

本文提出了一种基于ShuffleNet的实时语义分割网络，通过在编码器中使用grouped convolution和channle shuffling（ShuffleNet基本结构），同时用不同的解码方法，包括Skip架构，UNet和Dilation前端探索了精度和速度的平衡。

主要动机是：

It was shown in [4][2][3] that depthwise separable convolution or grouped convolution reduce the computational cost, while maintaining good representation capability.

训练的trciks：充分利用CityScapes数据集，将其中粗略标注的图像作为网络预训练，然后基于精细标注的图像作为网络微调。

---

RTSeg：实时语义分割比较研究

摘要
语义分割对机器人相关应用，尤其是自动驾驶，大有裨益。然而，目前大多数关于语义分割的研究都集中在提高模型精度上，而对计算高效的解决方案关注较少。少数在这方面开展的工作也未能提供系统性的方法来评估分割设计中的不同选择。 本论文填补了这一空白，提出了一套实时语义分割基准测试框架，该框架采用解耦的设计，分别处理特征提取和解码过程。该框架包含多种用于特征提取的网络架构，如 VGG16、Resnet18、MobileNet 和 ShuffleNet。 同时，它还包含多个定义解码方法的元架构，包括 SkipNet、UNet 和 Dilation Frontend。实验结果基于城市场景的 Cityscapes 数据集呈现。模块化的设计使得新的架构得以涌现，与 SegNet 相比，计算量减少了 143 倍 GFLOPs。

会议／期刊	作者	论文	代码
arXiv: 1803.02758	Mennatullah Siam, Mostafa Gamal, Moemen Abdel-Razek, Senthil Yogamani, Martin Jagersand	RTSeg：实时语义分割比较研究	TFSegmentation

和ShuffleSeg: Real-time Semantic Segmentation Network同一作者。

本文整体思路和ShuffleSeg类同，只不过更加抽象了编码器解码器，这里的编码器不再仅仅是ShuffleNet，而是增加了VGG16，Resnet18，MobileNet，方便了后期不同基础网络性能的比较。

---

SegNet：用于鲁棒语义像素级标注的深度卷积编码器-解码器架构

摘要
我们提出了一种新颖的深度架构——SegNet，用于语义像素级图像标注。SegNet 具备多项吸引人的特性：(i) 它仅需对完全训练好的函数进行前向推理即可获得平滑的标签预测；(ii) 随着网络深度增加，用于像素标注的上下文信息更加丰富，从而提升准确性；(iii) 在任意深度下，都可以轻松地可视化特征激活对像素标签空间的影响。
SegNet 由一系列编码器堆叠而成，随后是对应的解码器堆叠，最终连接到一个 Softmax 分类层。解码器的作用是将编码器输出的低分辨率特征图映射回输入图像全尺寸的特征图。这一设计解决了近期深度学习方法中的一个重要缺陷：这些方法通常直接采用为物体分类设计的网络来进行像素级标注。这类方法缺乏将深层特征图映射回输入尺寸的有效机制。 因此，它们往往依赖临时性的上采样方法，例如通过复制特征来实现放大，但这会导致预测结果噪声较大，并且为了减少过度上采样、保留更多空间上下文，不得不限制池化层的数量。而 SegNet 则通过学习如何将编码器输出映射为图像像素标签，成功克服了这些问题。我们在 CamVid、KITTI 的户外 RGB 场景以及 NYU 数据集的室内场景上测试了 SegNet 的性能。结果表明，即使不使用额外的线索（如深度信息、视频帧或 CRF 模型后处理），SegNet 也能达到当前最先进的水平。

会议／期刊	作者	论文	代码
arXiv: 1505.07293	Vijay Badrinarayanan, Ankur Handa, Roberto Cipolla	SegNet：用于鲁棒语义像素级标注的深度卷积编码器-解码器架构	caffe-segnet

本文为SegNet-Basic，基本思路就是编码器-解码器架构，指出当前语义分割方法都缺少一个机制将深度特征图map到输入维度的机制，基本都是特定的上采样特征方法，比如复制。

---

贝叶斯SegNet：用于场景理解的深度卷积编码器-解码器架构中的模型不确定性

摘要
我们提出了一种用于概率性像素级语义分割的深度学习框架，我们称之为贝叶斯SegNet。语义分割是视觉场景理解的重要工具，而有意义的不确定性度量对于决策至关重要。我们的贡献是一个实用的系统，能够预测像素级类别标签，并提供模型不确定性的度量。 我们通过在测试时使用丢弃法进行蒙特卡洛采样来生成像素类别标签的后验分布，从而实现这一目标。此外，我们还表明，在无需额外参数化的情况下，对不确定性建模可以在SegNet、FCN和Dilation网络等多种先进架构上将分割性能提高2-3%。我们还观察到，在较小的数据集上，建模不确定性更为有效，性能提升显著。我们在室内SUN场景理解和室外CamVid驾驶场景数据集上对贝叶斯SegNet进行了基准测试。

会议／期刊	作者	论文	代码
arXiv: 1511.02680	Alex Kendall, Vijay Badrinarayanan, Roberto Cipolla	贝叶斯SegNet：用于场景理解的深度卷积编码器-解码器架构中的模型不确定性	caffe-segnet

本文主要提出了一种基于概率的像素级语义分割框架Bayesian SegNet，通过建模模型不确定性能够在许多网络中都提升2-3%性能，如SegNet，FCN和Dilation网络。

---

SegNet：一种用于图像分割的深度卷积编码器-解码器架构

摘要
我们提出了一种新颖且实用的深度全卷积神经网络架构，用于语义像素级分割，称为SegNet。该核心可训练的分割引擎由一个编码器网络、一个对应的解码器网络以及随后的像素级分类层组成。编码器网络的架构在拓扑结构上与VGG16网络中的13个卷积层完全相同。 解码器网络的作用是将低分辨率的编码器特征图映射回输入图像的完整分辨率，以便进行像素级分类。SegNet的新颖之处在于其解码器对低分辨率输入特征图进行上采样的方式。具体而言，解码器利用对应编码器在最大池化步骤中计算出的池化索引来进行非线性上采样。 这种方法无需学习如何进行上采样。上采样后的特征图是稀疏的，随后再通过可训练的滤波器进行卷积操作，以生成稠密的特征图。我们将所提出的架构与广泛采用的FCN以及著名的DeepLab-LargeFOV和DeconvNet架构进行了比较。这种比较揭示了在实现良好分割性能时所涉及的内存与精度之间的权衡。
SegNet的主要动机来自于场景理解应用。因此，它在推理过程中的内存占用和计算时间方面都非常高效。与其他竞争架构相比，SegNet的可训练参数数量也显著较少，并且可以使用随机梯度下降法进行端到端训练。我们还在道路场景和SUN RGB-D室内场景分割任务上对SegNet及其他架构进行了受控基准测试。这些定量评估表明，与其他架构相比，SegNet在推理时间和内存占用方面表现优异，同时保持了具有竞争力的推理速度。我们还提供了SegNet的Caffe实现以及位于http://mi.eng.cam.ac.uk/projects/segnet/的在线演示。

会议／期刊	作者	论文	代码
arXiv: 1511.00561	Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla	SegNet：一种用于图像分割的深度卷积编码器-解码器架构	caffe-segnet

本文提出的SegNet是应用最为广泛的架构，其中SegNet-VGG16在性能和精度上都获得了较大的提升，主要指出了解码器使用的反池化操作。

---

U-Net：用于生物医学图像分割的卷积网络

摘要

大家普遍认为，成功训练深度网络需要数以千计的标注训练样本。在本文中，我们提出了一种网络及其训练策略，通过大量使用数据增强技术，更有效地利用现有的标注样本。 该架构由一个捕捉上下文的收缩路径和一个对称的扩张路径组成，后者能够实现精确的定位。我们证明，这样的网络仅需少量图像即可进行端到端训练，并且在ISBI挑战赛中，针对电子显微镜堆栈中神经元结构的分割任务，其性能优于先前的最佳方法（滑动窗口卷积网络）。同样使用该网络，但将其应用于透射光显微镜图像（相衬和DIC），我们在2015年ISBI细胞追踪挑战赛的相关类别中以较大优势获胜。此外，该网络速度非常快。在最新的GPU上，对一张512×512的图像进行分割只需不到一秒钟。完整的实现（基于Caffee）以及训练好的网络均可在http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net上找到。

会议／期刊	作者	论文	代码
arXiv: 1505.04597	Olaf Ronneberger, Philipp Fischer, Thomas Brox	U-Net：用于生物医学图像分割的卷积网络	unet第三方

本文提出的U-Net网络能够有效利用标注样本，通过a symmetric expanding path提升分割精度。

semseg 快速上手指南

semseg 是一个基于 PyTorch 的语义图像分割开源项目，实现了多种主流分割网络（如 FCN, RefineNet, PSPNet, ENet, BiSeNet 等），支持 CityScapes、PASCAL VOC、ADE20K 等常用数据集。

环境准备

系统要求：

• 操作系统：Linux (推荐 Ubuntu) 或 macOS
• Python 版本：3.6+
• GPU：推荐使用 NVIDIA GPU 以加速训练和推理（需安装 CUDA）

前置依赖：

• PyTorch：核心深度学习框架
• Visdom：用于训练过程中的实时可视化监控
• 其他库：numpy, pillow, scipy 等常规科学计算库

国内加速建议： 安装 PyTorch 时，建议访问 PyTorch 官网 选择对应环境，或使用清华/中科大镜像源安装：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone https://github.com/guanfuchen/semseg.git
   cd semseg
   

2. 安装 Python 依赖 确保已安装 PyTorch，然后安装项目所需的其他依赖包（如有 requirements.txt 则优先使用，若无则手动安装关键组件）：

   pip install -r requirements.txt
   # 若无 requirements.txt，请至少安装可视化工具
   pip install visdom
   

3. 准备数据集 本项目支持 CamVid, PASCAL VOC, CityScapes, ADE20K 等数据集。

   • 下载相应数据集并解压。
   • 根据 doc/ 目录下的数据集文档（如 doc/cityscapes_dataset.md）配置数据路径。通常需要将数据放置在项目指定的 data/ 目录下或在代码配置文件中修改路径。

基本使用

1. 启动可视化服务器

在训练前，建议启动 Visdom 服务以便实时监控损失曲线和分割效果。请在独立终端或 tmux 会话中运行：

python -m visdom.server

启动后，打开浏览器访问 http://127.0.0.1:9097 即可看到可视化界面。

2. 训练模型

使用默认配置开始训练（默认可能加载示例配置或首个可用数据集，具体模型和数据集需在 train.py 或配置文件中指定）：

python train.py

注：实际使用时，通常需要传递参数指定模型架构（如 --model enet）和数据集路径，请参考项目具体配置文件。

3. 验证模型

训练完成后，使用验证集评估模型性能：

python validate.py

4. 查看结果

训练过程中的中间结果和最终分割效果图可通过 Visdom 界面查看，或查看项目生成的保存目录。下图为 ENet 模型的可视化效果示例：