OCNet：用于场景解析的对象上下文网络（PyTorch）

+ 我们的工作于2018年9月4日星期二提交至arXiv。
+ 同期的DANet工作于2018年9月9日星期日提交至arXiv。
+ 如果对您的相关研究讨论有所帮助，我们希望您能在引用中提及我们的工作。

新闻

• 2021年2月14日 openseg.pytorch 支持 pytorch-1.7、混合精度和分布式训练。基于 PaddleClas 的 ImageNet 预训练权重，我们在 Cityscapes 验证集上达到 82.78%，在 PASCAL-Context 验证集上达到 59.62%（新的SOTA），在 COCO-Stuff 验证集上达到 45.20%（新的SOTA）。

• 2020年7月15日 MMSegmentation 也支持我们的 OCR。我们进一步引入了一种 OCR+ 方法，通过可分离卷积和与 DeepLabv3+ 类似结构的解码器头来增强原始 OCR，从而在 Cityscapes 验证集上实现了强大的单尺度评估性能，达到 81.0%。

• 2020年7月9日 OCR（Spotlight） 和 SegFix 已被 ECCV-2020 接受。值得注意的是，Nvidia 的研究人员通过将我们的 HRNet + OCR 与一种新的 层次化多尺度注意力机制 结合，在 Cityscapes 排行榜上创造了新的 SOTA 记录：85.4%。

• 2020年4月16日 我们已在 openseg.pytorch 中发布了 OCNet、OCR 和 SegFix 的部分检查点及日志文件。感谢您的耐心等待。

• 2020年1月13日 用于复现 HRNet+OCR 的源代码已公开。

• 2020年1月9日 “HRNet + OCR + SegFix” 以 mIoU 84.5% 的成绩位列 Cityscapes 排行榜第1名。

• 2020年1月7日 “HRNet+OCR[Mapillary+Coarse]” 目前通过更好的 Mapillary 预训练，达到了 84.26% 的成绩。我们使用原始 Mapillary 训练数据对 HRNet+OCR 模型进行预训练，并在 Mapillary 验证集上取得了 50.8% 的表现。我们的训练设置如下：50万次迭代，批次大小为16，裁剪尺寸为1024x1024。我们认为，借鉴近期 Panoptic-DeepLab 的更高成本训练策略，我们的方法有望进一步提升性能。结合我们新颖的后处理机制，未来有望取得更高的效果。

• 2019年11月28日 我们将在未来一周内发布所有 openseg.pytorch 代码，为社区提供一个强大的基准，该库支持我们所有的 OCNet 系列模型。此外，我们还在 HRNet-Semantic-Segmentation 代码库中提供了 OCR 的支持。

• 2019年11月20日 我们更新了论文 OCR，这是我们以 第2名 成绩进入 Cityscapes 排行榜的方法。通过一种简单的新型后处理方案，我们能够达到 84.0% 的成绩。

• 2019年7月31日 我们发布了论文 ISA，该方法非常易于使用和实现，同时比传统的基于自注意力的 OCNet 或 DANet 更加高效。

• 2019年7月23日 我们以单模型的成绩在 Cityscapes 排行榜上获得了 第1名，相关结果将很快公布。

• 2019年7月14日 我们基于单模型 HRNet48V2 + OCR [无任何技巧的训练]，在 Cityscapes 排行榜上取得了 83.3116%+ 的成绩。更多细节将在我们的新代码库 openseg.pytorch 中分享。

• 2019年5月27日 我们强烈建议您给我们的新代码库 openseg.pytorch 点个赞，因为我们的方法在所有6个基准测试中均达到 SOTA 水平，并且比之前的最佳方法高出1%~2%。

请在此处查看更新后的论文 OCNet。

欢迎您与朋友分享我们的工作。知乎分享

如果您觉得我们的工作对您有帮助，请考虑引用：

@article{YuanW18,
  title={Ocnet: 用于场景解析的对象上下文网络},
  author={袁宇辉、王井东},
  booktitle={arXiv预印本 arXiv:1809.00916},
  year={2018}
}

@article{HuangYGZCW19,
  title={用于语义分割的交错稀疏自注意力},
  author={黄朗、袁宇辉、郭建元、张超、陈锡林、王井东},
  booktitle={arXiv预印本 arXiv:1907.12273},
  year={2019}
}

@article{YuanCW20,
  title={用于语义分割的对象上下文表示},
  author={袁宇辉、陈锡林、王井东},
  booktitle={ECCV},
  year={2020}
}

@article{YuanXCW20,
  title={SegFix：面向分割的模型无关边界精修},
  author={袁宇辉、谢静怡、陈锡林、王井东},
  booktitle={ECCV},
  year={2020}
}

引言

上下文对于各种计算机视觉任务至关重要。最先进的场景解析方法已经充分利用了图像级别定义的上下文信息。这种上下文包含了属于不同类别的物体的混合信息。

根据每个像素的标签被定义为其所属物体的类别这一事实，我们提出了对象上下文，它考虑的是属于同一类别的物体。任意像素P的对象上下文表示为与P属于同一类别的所有像素特征的聚合。由于预先估计所有属于同一类别的物体是不现实的，我们采用自注意力机制，通过学习像素级相似度图来近似这些物体。

我们进一步提出了金字塔对象上下文和空洞空间金字塔对象上下文，以捕捉多尺度的上下文信息。基于对象上下文，我们引入了OCNet，并证明OCNet在Cityscapes基准和ADE20K基准上均达到了最先进的性能。

学习到的对象上下文可视化

实验结果

我们的所有实现都基于PyTorch，OCNet在Cityscapes和ADE20K等多个基准上无需任何额外技巧即可达到具有竞争力的性能。

目前仅使用精细标注数据集训练的OCNet在Cityscapes测试集上的性能如下：

(修复多尺度测试的bug)

方法	会议	主干网络	mIoU(%)
RefineNet	CVPR2017	ResNet-101	73.6
SAC	ICCV2017	ResNet-101	78.1
PSPNet	CVPR2017	ResNet-101	78.4
DUC-HDC	WACV2018	ResNet-101	77.6
AAF	ECCV2018	ResNet-101	77.1
BiSeNet	ECCV2018	ResNet-101	78.9
PSANet	ECCV2018	ResNet-101	80.1
DFN	CVPR2018	ResNet-101	79.3
DSSPN	CVPR2018	ResNet-101	77.8
DenseASPP	CVPR2018	DenseNet-161	80.6
OCNet	-	ResNet-101	81.7
Fast-OCNet	-	ResNet-101	82.1

OCNet在ADE20K验证集上的当前性能如下：

方法	会议	主干网络	mIoU(%)
RefineNet	CVPR2017	ResNet-152	40.70
PSPNet	CVPR2017	ResNet-101	43.29
SAC	ICCV2017	ResNet-101	44.30
PSANet	ECCV2018	ResNet-101	43.77
EncNet	CVPR2018	ResNet-101	44.65
OCNet	-	ResNet-101	45.45

OCNet在LIP验证集上的当前性能如下。我们简单地将CE2P框架中的PSP模块替换为ASP-OC模块。

方法	会议	主干网络	验证集mIoU(%)
Attention+SSL	CVPR2017	ResNet-101	44.73
SS-NAN	CVPR2017	ResNet-101	47.92
MMAN	ECCV2018	ResNet-101	46.81
MuLA	ECCV2018	ResNet-101	49.30
JPPNet	PAMI2018	ResNet-101	51.37
CE2P	AAAI2019	ResNet-101	53.10
OCNet	-	ResNet-101	54.72

环境

代码是在Ubuntu 16.04系统上使用gcc5.4.0、Python 3.6+和CUDA8.0+开发的。需要NVIDIA GPU。代码使用4块NVIDIA P100 GPU进行测试。所有Cityscapes上的实验均在PyTorch 0.4.1上进行。

如果您只能访问TITAX Pascal / TITAN-1080Ti GPU，建议您修改base-oc中的参数size：

self.context = nn.Sequential(
            nn.Conv2d(2048, 512, kernel_size=3, stride=1, padding=1),
            InPlaceABNSync(512),
            BaseOC_Module(in_channels=512, out_channels=512, key_channels=256, value_channels=256, 
            dropout=0.05, sizes=([2]))
            )

快速入门

要求

torch=0.4.1
torchvision
tensorboardX
pillow
tqdm
h5py
scikit-learn
cv2

只需使用pip install torch torchvision安装官方PyTorch即可。

我们主要基于官方PyTorch 0.4.1测试所有结果。

训练/验证/测试OCNet（Cityscapes）

为了方便起见，我们将训练、验证和测试集成在一个脚本中。运行此脚本即可获得所有结果。

sh run_asp_oc.sh

预计在验证集上可达到约79.5的mIoU，在测试集上可达到约78.3的mIoU（单尺度）。

也建议尝试run_base_oc.sh，该脚本同样可以在验证集上达到约79.3的mIoU，在测试集上达到约78.1的mIoU（单尺度）。

为进一步提升性能，可以采用CriterionOhemDSN_single，设置如下：

USE_OHEM=True
OHEMTHRES=0.7
OHEMKEEP=100000

这样预计在验证集上可达到约80.4的mIoU，在测试集上可达到约79.0的mIoU（单尺度）。

要达到测试集上的81.2，需先用训练集和验证集共同训练模型8万次（多尺度+翻转情况下测试集可达约80.5），然后再用固定学习率（1e-4）对该模型进行10万次微调。我们相应地采用了在线困难样本挖掘方法。

数据准备

对于Cityscapes数据集，请从Cityscapes官网下载数据集。将所有图像解压到“./OCNet/dataset/cityscapes”路径下。确保文件夹“./OCNet/dataset/cityscapes”内的目录结构如下：

|-- README
|-- get_cs_extra.sh
|-- gtCoarse
|   |-- README
|   |-- license.txt
|   |-- train
|   |-- train_extra
|   `-- val
|-- gtFine
|   |-- README
|   |-- license.txt
|   |-- test
|   |-- train
|   `-- val
|-- leftImg8bit
|   |-- README
|   |-- license.txt
|   |-- test
|   |-- train
|   |-- train_extra
|   `-- val
|-- license.txt
`-- tree.txt

预训练模型

请将预训练模型放在“./OCNet/pretrained_model”文件夹下。

ImageNet预训练ResNet-101

包含环境的Docker镜像

rainbowsecret/pytorch04:20180719

其他问题（验证集与测试集之间的性能差距）

我们发现train类别的mIoU有时不稳定。例如，我们运行代码5次，其中有一次train类别的mIoU为0.42，而另外4次则为0.75。

此外，验证集和测试集的准确率之间也存在一些差异。例如，如果两次运行base-oc方法，可能会分别在验证集上得到79.3和79.8的mIoU，而在测试集上则分别为78.55和77.69。因此，如果您希望在测试集上取得良好性能，我建议您多次运行我们的方法；尽管如此，由于训练/验证集与测试集之间的分布差异，我们的方法在验证集上表现得相当稳健。

致谢

本项目基于Zilong Huang提供的复现版Deeplabv3、PSPNet（PyTorch）构建，相关代码的版权仍归Zilong Huang所有。

感谢第三方库

InplaceABN

Non-local_pytorch.

Pytorch-Deeplab

PyTorch-Encoding

semantic-segmentation-pytorch

OCNet.pytorch 快速上手指南

OCNet (Object Context Network) 是一个用于场景解析（语义分割）的 PyTorch 开源项目，通过引入“对象上下文”机制，在 Cityscapes、ADE20K 等基准测试中取得了优异的性能。

环境准备

本项目基于 Ubuntu 16.04 开发，需要 NVIDIA GPU 支持。官方测试环境如下：

• 操作系统: Ubuntu 16.04
• 编译器: gcc 5.4.0+
• Python: 3.6+
• CUDA: 8.0+
• GPU: 推荐 4x NVIDIA P100。若使用 TITAN X Pascal 或 TITAN 1080Ti，需修改代码中的 size 参数（详见原文注意事项）。
• PyTorch 版本: 官方主要基于 PyTorch 0.4.1 进行测试（注意版本兼容性）。

依赖安装

建议使用国内镜像源加速安装。首先安装基础依赖：

pip install torch==0.4.1 torchvision tensorboardX pillow tqdm h5py scikit-learn opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果无法直接安装特定版本的 torch，请访问 PyTorch 官网历史版本页面 获取对应 CUDA 版本的安装命令。

安装步骤

1. 克隆仓库

   git clone https://github.com/PkuRainBow/OCNet.pytorch.git
   cd OCNet.pytorch
   

2. 数据集准备 (以 Cityscapes 为例)

   • 从 Cityscapes 官网 下载数据集。
   • 将解压后的数据放置在 ./OCNet/dataset/cityscapes 目录下。
   • 确保目录结构如下：

     ./OCNet/dataset/cityscapes/
     ├── gtFine/
     │   ├── train/
     │   ├── val/
     │   └── test/
     ├── leftImg8bit/
     │   ├── train/
     │   ├── val/
     │   └── test/
     └── ...
     

基本使用

项目提供了封装好的脚本，可一键完成训练、验证和测试。

1. 快速开始 (ASP-OC 模块)

运行以下脚本启动训练（默认使用 ASP-OC 模块）：

sh run_asp_oc.sh

• 预期效果: 单尺度评估下，验证集 mIoU 约 79.5%，测试集 mIoU 约 78.3%。

2. 备选方案 (Base-OC 模块)

也可尝试基础版本脚本：

sh run_base_oc.sh

• 预期效果: 单尺度评估下，验证集 mIoU 约 79.3%，测试集 mIoU 约 78.1%。

3. 进阶优化 (使用 OHEM)

为了进一步提升性能，可在配置中启用在线难例挖掘 (OHEM)。请在相关配置文件或脚本中设置以下参数：

USE_OHEM=True
OHEMTHRES=0.7
OHEMKEEP=100000

• 预期效果: 开启后，单尺度评估下验证集 mIoU 可提升至约 80.4%。

4. 达到 SOTA 性能提示

若要复现论文中更高的测试集成绩（如 81.2%+），通常需要两阶段训练策略：

1. 使用训练集和验证集联合训练 80,000 次迭代。
2. 固定学习率 (1e-4) 微调 100,000 次迭代。
3. 测试时采用多尺度 + 翻转增强。