高分辨率网络与分割Transformer用于语义分割

分支

• 这是HRNet + OCR的实现。
• PyTorch 1.1版本可在此处获取这里。
• PyTorch 0.4.1版本可在此处获取这里。

新闻

• [2021/05/04] 我们将OCR方法重新表述为分割Transformerpdf。我们很快会提供更新后的实现。

• [2021/02/16] 基于PaddleClas的ImageNet预训练权重，我们在Cityscapes验证集上达到83.22%，在PASCAL-Context验证集上达到59.62%（新的SOTA），在COCO-Stuff验证集上达到45.20%（新的SOTA），在LIP验证集上达到58.21%，在ADE20K验证集上达到47.98%。更多详情请查看openseg.pytorch。

• [2020/08/16] MMSegmentation已支持我们的HRNet + OCR。

• [2020/07/20] AInnovation的研究人员通过使用半监督学习方案训练我们的HRNet + OCR，在ADE20K排行榜上取得了第一名。更多细节请参阅他们的技术报告。

• [2020/07/09] 我们的论文已被ECCV 2020接受：用于语义分割的对象上下文表示。值得注意的是，Nvidia的研究人员通过将我们的HRNet + OCR与一种新的层次化多尺度注意力机制结合，在Cityscapes排行榜上创造了新的最先进性能：85.4%。

• [2020/03/13] 我们的论文已被TPAMI接受：用于视觉识别的深度高分辨率表征学习。

• HRNet + OCR + SegFix：在Cityscapes排行榜中排名第一（84.5）。OCR：对象上下文表示pdf。HRNet + OCR在此处被复现这里。

• 感谢Google和UIUC的研究人员。一种改进的HRNet结合语义和实例多尺度上下文，在Mapillary Vista挑战赛上取得了最先进的一致性分割结果。详见论文。

• 用于Cityscapes分割的小型HRNet模型。优于MobileNetV2Plus……

• 在Cityscapes排行榜中排名第一（83.7）。HRNet结合了对象上下文的扩展。

• 支持PyTorch v1.1和官方Sync-BN。我们已在新代码库上复现了Cityscapes的结果。请查看pytorch-v1.1分支。

简介

这是用于语义分割的高分辨率表征的官方代码。 我们通过下图所示的一个非常简单的分割头来增强HRNet。我们将四个不同分辨率的输出特征进行聚合，然后使用1x1卷积将其融合。最终的输出特征会被送入分类器。我们在三个数据集——Cityscapes、PASCAL-Context和LIP——上评估了我们的方法。

此外，我们将HRNet与对象上下文表示进一步结合，在这三个数据集上取得了更高的性能。HRNet+OCR的代码包含在这个分支中。我们在图中展示了OCR的整体框架以及等效的Transformer流程：

分割模型

这些模型使用在ImageNet上预训练的权重进行初始化。“Paddle”表示结果基于PaddleCls预训练的HRNet模型。 您可以从https://github.com/HRNet/HRNet-Image-Classification下载预训练模型。*略有不同的是，我们在HRNet中使用align_corners = True进行上采样*。

1. 在Cityscapes数据集上的表现。模型分别以512x1024和1024x2048的输入尺寸进行训练和测试。 如果采用多尺度测试，我们会使用以下比例：0.5、0.75、1.0、1.25、1.5、1.75。

模型	训练集	测试集	OHEM	多尺度	翻转	mIoU	链接
HRNetV2-W48	训练	验证	否	否	否	80.9	Github/百度网盘（提取码：pmix）
HRNetV2-W48 + OCR	训练	验证	否	否	否	81.6	Github/百度网盘（提取码：fa6i）
HRNetV2-W48 + OCR	训练+验证	测试	否	是	是	82.3	Github/百度网盘（提取码：ycrk）
HRNetV2-W48 (Paddle)	训练	验证	否	否	否	81.6	---
HRNetV2-W48 + OCR (Paddle)	训练	验证	否	否	否	---	---
HRNetV2-W48 + OCR (Paddle)	训练+验证	测试	否	是	是	---	---

2. 在LIP数据集上的表现。模型以473x473的输入尺寸进行训练和测试。

模型	OHEM	多尺度	翻转	mIoU	链接
HRNetV2-W48	否	否	是	55.83	Github/百度网盘（提取码：fahi）
HRNetV2-W48 + OCR	否	否	是	56.48	Github/百度网盘（提取码：xex2）
HRNetV2-W48 (Paddle)	否	否	是	---	---
HRNetV2-W48 + OCR (Paddle)	否	否	是	---	---

注 目前我们只能在PyTorch 0.4.1版本上复现LIP数据集上的HRNet+OCR结果。

3. 在 PASCAL-Context 数据集上的性能。模型以 520x520 的输入尺寸进行训练和测试。

如果使用多尺度测试，我们采用的尺度为：0.5、0.75、1.0、1.25、1.5、1.75、2.0（与 EncNet、DANet 等相同）。

模型	类别数	OHEM	多尺度	镜像翻转	mIoU	链接
HRNetV2-W48	59 类	否	是	是	54.1	Github/百度网盘（提取码：wz6v）
HRNetV2-W48 + OCR	59 类	否	是	是	56.2	Github/百度网盘（提取码：yyxh）
HRNetV2-W48	60 类	否	是	是	48.3	OneDrive/百度网盘（提取码：9uf8）
HRNetV2-W48 + OCR	60 类	否	是	是	50.1	Github/百度网盘（提取码：gtkb）
HRNetV2-W48 (Paddle)	59 类	否	是	是	---	---
HRNetV2-W48 (Paddle)	60 类	否	是	是	---	---
HRNetV2-W48 + OCR (Paddle)	59 类	否	是	是	---	---
HRNetV2-W48 + OCR (Paddle)	60 类	否	是	是	---	---

4. 在 COCO-Stuff 数据集上的性能。模型以 520x520 的输入尺寸进行训练和测试。

如果使用多尺度测试，我们采用的尺度为：0.5、0.75、1.0、1.25、1.5、1.75、2.0（与 EncNet、DANet 等相同）。

模型	OHEM	多尺度	镜像翻转	mIoU	链接
HRNetV2-W48	是	否	否	36.2	Github/百度网盘（提取码：92gw）
HRNetV2-W48 + OCR	是	否	否	39.7	Github/百度网盘（提取码：sjc4）
HRNetV2-W48	是	是	是	37.9	Github/百度网盘（提取码：92gw）
HRNetV2-W48 + OCR	是	是	是	40.6	Github/百度网盘（提取码：sjc4）
HRNetV2-W48 (Paddle)	是	否	否	---	---
HRNetV2-W48 + OCR (Paddle)	是	否	否	---	---
HRNetV2-W48 (Paddle)	是	是	是	---	---
HRNetV2-W48 + OCR (Paddle)	是	是	是	---	---

5. 在 ADE20K 数据集上的性能。模型以 520x520 的输入尺寸进行训练和测试。

如果使用多尺度测试，我们采用的尺度为：0.5、0.75、1.0、1.25、1.5、1.75、2.0（与 EncNet、DANet 等相同）。

模型	OHEM	多尺度	镜像翻转	mIoU	链接
HRNetV2-W48	是	否	否	43.1	Github/百度网盘（提取码：f6xf）
HRNetV2-W48 + OCR	是	否	否	44.5	Github/百度网盘（提取码：peg4）
HRNetV2-W48	是	是	是	44.2	Github/百度网盘（提取码：f6xf）
HRNetV2-W48 + OCR	是	是	是	45.5	Github/百度网盘（提取码：peg4）
HRNetV2-W48 (Paddle)	是	否	否	---	---
HRNetV2-W48 + OCR (Paddle)	是	否	否	---	---
HRNetV2-W48 (Paddle)	是	是	是	---	---
HRNetV2-W48 + OCR (Paddle)	是	是	是	---	---

快速入门

安装

1. 对于 LIP 数据集，按照 官方说明 安装 PyTorch=0.4.1。对于 Cityscapes 和 PASCAL-Context，我们使用 PyTorch=1.1.0。
2. git clone https://github.com/HRNet/HRNet-Semantic-Segmentation $SEG_ROOT
3. 安装依赖：pip install -r requirements.txt

如果你想在 PASCAL-Context 数据集上训练和评估我们的模型，你需要安装 details：

pip install git+https://github.com/zhanghang1989/detail-api.git#subdirectory=PythonAPI

数据准备

你需要下载 Cityscapes、LIP 和 PASCAL-Context 数据集。

你的目录结构应如下所示：

$SEG_ROOT/data
├── cityscapes
│   ├── gtFine
│   │   ├── test
│   │   ├── train
│   │   └atóval
│   └── leftImg8bit
│       ├── test
│       ├── train
│       └arával
├── lip
│   ├── TrainVal_images
│   │   ├── train_images
│   │   └átval_images
│   └atóTrainVal_parsing_annotations
│       ├── train_segmentations
│       ├── train_segmentations_reversed
│       └átval_segmentations
àch pascal_ctx
│   ├── common
│   ├── PythonAPI
│   ├── res
│   └atóVOCdevkit
│       └atóVOC2010
àch cocostuff
│   ├── train
│   │   ├── image
│   │   └átlabel
│   └atóval
│       ├── image
│       └átlabel
àch ade20k
│   ├── train
│   │   ├── image
│   │   └átlabel
│   └atóval
│       ├── image
│       └átlabel
àch list
│   ├── cityscapes
│   │   ├── test.lst
│   │   ├── trainval.lst
│   │   └átval.lst
│   ├── lip
│   │   ├── testvalList.txt
│   │   ├── trainList.txt
│   │   └átvalList.txt

训练与测试

PyTorch 版本差异

请注意，该代码库同时支持 PyTorch 0.4.1 和 1.1.0，它们的训练命令有所不同。在下文中，我们用 $PY_CMD 来表示不同的启动命令。

# 对于 PyTorch 0.4.1
PY_CMD="python"

# 适用于 PyTorch 1.1.0
PY_CMD="python -m torch.distributed.launch --nproc_per_node=4"

例如，在 Cityscapes 数据集上进行训练时，我们使用 PyTorch 1.1.0。因此，命令

$PY_CMD tools/train.py --cfg experiments/cityscapes/seg_hrnet_ocr_w48_train_512x1024_sgd_lr1e-2_wd5e-4_bs_12_epoch484.yaml

表示

python -m torch.distributed.launch --nproc_per_node=4 tools/train.py --cfg experiments/cityscapes/seg_hrnet_ocr_w48_train_512x1024_sgd_lr1e-2_wd5e-4_bs_12_epoch484.yaml

训练

只需为 tools/train.py 指定配置文件即可。

例如，在 4 张 GPU 上以 12 的批量大小在 Cityscapes 数据集上训练 HRNet-W48：

$PY_CMD tools/train.py --cfg experiments/cityscapes/seg_hrnet_w48_train_512x1024_sgd_lr1e-2_wd5e-4_bs_12_epoch484.yaml

再比如，在 4 张 GPU 上以 12 的批量大小在 Cityscapes 数据集上训练 HRNet-W48 + OCR：

$PY_CMD tools/train.py --cfg experiments/cityscapes/seg_hrnet_ocr_w48_train_512x1024_sgd_lr1e-2_wd5e-4_bs_12_epoch484.yaml

需要注意的是，我们仅在 LIP 数据集上使用 PyTorch 0.4.1 复现了 HRNet+OCR。因此，如果您希望在 LIP 数据集上进行训练，建议使用 PyTorch 0.4.1。

测试

例如，对 HRNet+OCR 在 Cityscapes 验证集上进行多尺度和翻转测试：

python tools/test.py --cfg experiments/cityscapes/seg_hrnet_ocr_w48_train_512x1024_sgd_lr1e-2_wd5e-4_bs_12_epoch484.yaml \
                     TEST.MODEL_FILE hrnet_ocr_cs_8162_torch11.pth \
                     TEST.SCALE_LIST 0.5,0.75,1.0,1.25,1.5,1.75 \
                     TEST.FLIP_TEST True

对 HRNet+OCR 在 Cityscapes 测试集上进行多尺度和翻转测试：

python tools/test.py --cfg experiments/cityscapes/seg_hrnet_ocr_w48_train_512x1024_sgd_lr1e-2_wd5e-4_bs_12_epoch484.yaml \
                     DATASET.TEST_SET list/cityscapes/test.lst \
                     TEST.MODEL_FILE hrnet_ocr_trainval_cs_8227_torch11.pth \
                     TEST.SCALE_LIST 0.5,0.75,1.0,1.25,1.5,1.75 \
                     TEST.FLIP_TEST True

对 HRNet+OCR 在 PASCAL-Context 验证集上进行多尺度和翻转测试：

python tools/test.py --cfg experiments/pascal_ctx/seg_hrnet_ocr_w48_cls59_520x520_sgd_lr1e-3_wd1e-4_bs_16_epoch200.yaml \
                     DATASET.TEST_SET testval \
                     TEST.MODEL_FILE hrnet_ocr_pascal_ctx_5618_torch11.pth \
                     TEST.SCALE_LIST 0.5,0.75,1.0,1.25,1.5,1.75,2.0 \
                     TEST.FLIP_TEST True

对 HRNet+OCR 在 LIP 验证集上进行翻转测试：

python tools/test.py --cfg experiments/lip/seg_hrnet_w48_473x473_sgd_lr7e-3_wd5e-4_bs_40_epoch150.yaml \
                     DATASET.TEST_SET list/lip/testvalList.txt \
                     TEST.MODEL_FILE hrnet_ocr_lip_5648_torch04.pth \
                     TEST.FLIP_TEST True \
                     TEST.NUM_SAMPLES 0

对 HRNet+OCR 在 COCO-Stuff 验证集上进行多尺度和翻转测试：

python tools/test.py --cfg experiments/cocostuff/seg_hrnet_ocr_w48_520x520_ohem_sgd_lr1e-3_wd1e-4_bs_16_epoch110.yaml \
                     DATASET.TEST_SET list/cocostuff/testval.lst \
                     TEST.MODEL_FILE hrnet_ocr_cocostuff_3965_torch04.pth \
                     TEST.SCALE_LIST 0.5,0.75,1.0,1.25,1.5,1.75,2.0 \
                     TEST.MULTI_SCALE True TEST.FLIP_TEST True

对 HRNet+OCR 在 ADE20K 验证集上进行多尺度和翻转测试：

python tools/test.py --cfg experiments/ade20k/seg_hrnet_ocr_w48_520x520_ohem_sgd_lr2e-2_wd1e-4_bs_16_epoch120.yaml \
                     DATASET.TEST_SET list/ade20k/testval.lst \
                     TEST.MODEL_FILE hrnet_ocr_ade20k_4451_torch04.pth \
                     TEST.SCALE_LIST 0.5,0.75,1.0,1.25,1.5,1.75,2.0 \
                     TEST.MULTI_SCALE True TEST.FLIP_TEST True

HRNet 的其他应用

• 人体姿态估计
• 图像分类
• 目标检测
• 人脸关键点检测

引用

如果您在研究中发现本工作或代码有所帮助，请引用以下文献：

@inproceedings{SunXLW19,
  title={Deep High-Resolution Representation Learning for Human Pose Estimation},
  author={Ke Sun and Bin Xiao and Dong Liu and Jingdong Wang},
  booktitle={CVPR},
  year={2019}
}

@article{WangSCJDZLMTWLX19,
  title={Deep High-Resolution Representation Learning for Visual Recognition},
  author={Jingdong Wang and Ke Sun and Tianheng Cheng and 
          Borui Jiang and Chaorui Deng and Yang Zhao and Dong Liu and Yadong Mu and 
          Mingkui Tan and Xinggang Wang and Wenyu Liu and Bin Xiao},
  journal={TPAMI},
  year={2019}
}

@article{YuanCW19,
  title={Object-Contextual Representations for Semantic Segmentation},
  author={Yuhui Yuan and Xilin Chen and Jingdong Wang},
  booktitle={ECCV},
  year={2020}
}

参考文献

[1] Deep High-Resolution Representation Learning for Visual Recognition. Jingdong Wang, Ke Sun, Tianheng Cheng, Borui Jiang, Chaorui Deng, Yang Zhao, Dong Liu, Yadong Mu, Mingkui Tan, Xinggang Wang, Wenyu Liu, Bin Xiao. 已被 TPAMI 接受。 下载

[2] Object-Contextual Representations for Semantic Segmentation. Yuhui Yuan, Xilin Chen, Jingdong Wang。 下载

致谢

我们在 PyTorch 0.4.1 的实验中采用了由 InplaceABN 实现的同步 BN，并在 PyTorch 1.10 的实验中使用了 PyTorch 官方提供的同步 BN。

此外，我们还采用了由 PASCAL API 实现的 PASCAL-Context 数据集预处理方法。

HRNet-Semantic-Segmentation 快速上手指南

HRNet-Semantic-Segmentation 是基于高分辨率网络（HRNet）结合对象上下文表示（OCR）的语义分割官方实现。该模型在 Cityscapes、PASCAL-Context、LIP 等多个数据集上取得了领先的性能。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.6+
• PyTorch 版本:
  • Cityscapes / PASCAL-Context / ADE20K: 推荐使用 PyTorch 1.1.0 (对应 pytorch-v1.1 分支)。
  • LIP / COCO-Stuff: 如需复现特定旧结果，可能需要 PyTorch 0.4.1 (对应 master 分支)，但建议优先尝试在新版本环境下运行。
• GPU: 支持 CUDA 的 NVIDIA 显卡。

前置依赖

• Git
• pip
• 若需处理 PASCAL-Context 数据集，需额外安装 detail-api。

安装步骤

1. 克隆代码库

建议使用国内镜像加速克隆过程：

git clone https://gitee.com/mirrors/HRNet-Semantic-Segmentation.git $SEG_ROOT
# 或者使用官方源
git clone https://github.com/HRNet/HRNet-Semantic-Segmentation $SEG_ROOT
cd $SEG_ROOT

注意：如果你主要使用 PyTorch 1.1+，请切换到对应分支：

git checkout pytorch-v1.1

2. 安装 Python 依赖

推荐使用国内 pip 镜像源（如清华源）加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装额外组件（可选）

如果需要在 PASCAL-Context 数据集上进行训练或评估，请安装 detail-api：

# 请参考 detail-api 仓库的具体安装说明
git clone https://github.com/zhanghang1989/detail-api.git
cd detail-api/PythonAPI && make

4. 下载预训练模型

模型权重基于 ImageNet 预训练。你可以从以下地址下载：

• GitHub Releases: hrnet_cs_8090_torch11.pth (Cityscapes 示例)
• 百度网盘: 见 README 表格中的链接（提取码通常在链接后标注）。

将下载的 .pth 文件放置在项目目录下的 pretrained_models/ 文件夹中（若不存在请新建）。

基本使用

以下以 Cityscapes 数据集为例，展示最简单的评估流程。假设你已经准备好了数据集并配置好了路径。

1. 配置数据集路径

修改 config.py 或在命令行中指定数据集根目录。通常需要在环境变量或配置文件中设置 DATASET_ROOT。

2. 单张图像推理示例

使用预训练模型对单张图片进行分割预测：

python tools/test.py \
    --cfg config/ocrnet/hrnet_w48_cityscapes_512x1024_40k.yaml \
    TEST.MODEL_FILE pretrained_models/hrnet_cs_8090_torch11.pth \
    TEST.SCALE_LIST 1.0 \
    TEST.FLIP_TEST False \
    DATA.DATA_ROOT /path/to/cityscapes \
    DATA.IMG_DIR images/val \
    DATA.LABEL_DIR labels/val \
    OUTPUT_DIR output_results

参数说明：

• --cfg: 模型配置文件路径，定义了网络结构（如 HRNetV2-W48 + OCR）。
• TEST.MODEL_FILE: 下载的预训练权重路径。
• TEST.SCALE_LIST: 测试尺度，1.0 表示单尺度测试。
• DATA.DATA_ROOT: 数据集根目录绝对路径。
• OUTPUT_DIR: 分割结果输出目录。

3. 训练模型（简要）

若要重新训练模型，请使用以下命令格式：

python tools/train.py \
    --cfg config/ocrnet/hrnet_w48_cityscapes_512x1024_40k.yaml \
    DATA.DATA_ROOT /path/to/cityscapes \
    OUTPUT_DIR training_output

提示：具体配置文件 (yaml) 位于 config/ 目录下，涵盖了不同数据集（Cityscapes, LIP, PASCAL-Context 等）和不同骨干网络（W18, W32, W48）的组合。请根据实际需求选择对应的配置文件。