openseg.pytorch

新闻

• 2022年8月7日 HDETR 是一种通用且高效的方案，可提升 DETR 在多种基础视觉任务中的性能。H-Deformable-DETR（在 COCO 目标检测上取得强劲效果）H-PETR-3D（在 nuScenes 数据集上取得强劲效果）H-PETR-Pose（在 COCO 姿态估计上取得强劲效果）

• 2022年3月9日 RankSeg 是对通用分割问题的一种更有效表述，并在多个基准上提升了多种 SOTA 分割方法的性能。

• 2021年9月14日 MMSegmentation 已支持我们的 ISANet，更多详情请参阅 ISANet。

• 2021年8月13日 我们发布了 HRFormer 的实现，HRFormer 与 OCR 结合使用时，能够获得更好的语义分割性能。

• 2021年3月12日 晚来的 ACCEPT 终于到了，我们的“OCNet：用于场景解析的对象上下文网络”已被 IJCV-2021 接受，该论文由我们此前的两份技术报告组成：OCNet 和 ISA。祝贺所有合作作者！

• 2021年2月16日 支持 PyTorch 1.7、混合精度训练和分布式训练。基于 PaddleClas 的 ImageNet 预训练权重，我们在 Cityscapes 验证集上取得了 83.22% 的 mIoU，在 PASCAL-Context 验证集上取得了 59.62%（新的 SOTA），在 COCO-Stuff 验证集上取得了 45.20%（新的 SOTA），在 LIP 验证集上取得了 58.21%，在 ADE20K 验证集上取得了 47.98%。更多详情请查看 pytorch-1.7 分支。

• 2020年12月7日 PaddleSeg 已支持我们的 ISA 和 HRNet + OCR。Jittor 也已支持我们的 ResNet-101 + OCR。

• 2020年8月16日 MMSegmentation 已支持我们的 HRNet + OCR。

• 2020年7月20日 AInnovation 的研究人员通过采用半监督学习方案训练我们的 HRNet + OCR，在 ADE20K Leaderboard 上取得了 第一名。更多细节请参阅他们的 技术报告。

• 2020年7月9日 OCR（Spotlight） 和 SegFix 已被 ECCV-2020 接受。值得注意的是，Nvidia 的研究人员通过将我们的 HRNet + OCR 与一种新的 层次化多尺度注意力机制 结合，在 Cityscapes Leaderboard 上创造了新的 SOTA 记录：85.4%。

• 2020年5月11日 我们在 Model Zoo 中发布了“HRNet + OCR”在 Cityscapes、ADE20K、LIP、PASCAL-Context 和 COCO-Stuff 等 5 个基准上的检查点和日志。欢迎在您自己的数据集上尝试我们的方法。

• 2020年4月18日 我们发布了一些 OCNet、ISA、OCR 和 SegFix 的检查点和日志。我们强烈建议您使用 SegFix 来改进您的分割结果，因为它非常简单且快速易用。

• 2020年3月12日 我们的 SegFix 可用于提升各种 SOTA 方法在语义分割和实例分割方面的性能，例如，“PolyTransform + SegFix”在 Cityscapes Leaderboard（实例分割赛道）上以 41.2% 的成绩获得了 第二名。

• 2020年1月13日 我们公开了复现 HRNet+OCR 的源代码。

• 2020年1月9日 “HRNet + OCR + SegFix”在 Cityscapes Leaderboard 上以 84.5% 的 mIoU 获得了 第一名。

• 2019年9月25日 我们发表了论文 OCR，这是我们参加 Cityscapes Leaderboard 并获得 第二名 的方法。

• 2019年7月31日 我们发表了论文 ISA，该方法非常易于使用和实现，同时在效率上远超基于传统自注意力机制的 OCNet 或 DANet。

• 2019年7月23日 我们（HRNet + OCR w/ ASP）在 Cityscapes Leaderboard 上以单模型在 4 项指标中的 3 项上获得了 第一名。

• 2019年5月27日 我们在 6 个不同的语义分割基准 上取得了 SOTA 成绩，包括：Cityscapes、ADE20K、LIP、Pascal-Context、Pascal-VOC、COCO-Stuff。我们为这 6 个基准提供了相应方法的源代码。

模型库与基线

我们在 Model Zoo 中提供了一系列基线结果和可供下载的训练模型。

简介

这是 OCR、OCNet、ISA 和 SegFix 的官方代码。OCR、OCNet 和 ISA 专注于改进上下文聚合机制（在语义分割任务中），而 ISA 则特别关注解决边界误差问题（在语义分割和实例分割任务中）。我们在下图中展示了 OCR 和 SegFix 的整体框架：

引用

如果您觉得我们的工作对您有所帮助，请考虑引用我们的论文：

@article{YuanW18,
  title={Ocnet: 场景解析中的目标上下文网络},
  author={袁宇辉 and 王井东},
  journal={arXiv 预印本 arXiv:1809.00916},
  year={2018}
}

@article{HuangYGZCW19,
  title={用于语义分割的交错稀疏自注意力},
  author={黄朗 and 袁宇辉 and 郭建元 and 张超 and 陈锡林 and 王井东},
  journal={arXiv 预印本 arXiv:1907.12273},
  year={2019}
}

@article{YuanCW20,
  title={语义分割中的目标上下文表示},
  author={袁宇辉 and 陈锡林 and 王井东},
  journal={arXiv 预印本 arXiv:1909.11065},
  year={2020}
}

@article{YuanXCW20,
  title={SegFix：适用于分割任务的模型无关边界精修},
  author={袁宇辉 and 谢静怡 and 陈锡林 and 王井东},
  journal={arXiv 预印本 arXiv:2007.04269},
  year={2020}
}

@article{YuanFHZCW21,
  title={HRT：用于密集预测的高分辨率 Transformer},
  author={袁宇辉 and 傅饶 and 黄朗 and 林伟宏 and 张超 and 陈锡林 and 王井东},
  booktitle={arXiv 预印本 arXiv:2110.09408},
  year={2021}
}

致谢

本项目基于 segbox.pytorch 开发，其中复现的 Deeplabv3、PSPNet 相关代码的版权仍归 segbox.pytorch 的作者 donnyyou 所有。

openseg.pytorch 快速上手指南

openseg.pytorch 是微软亚洲研究院（MSRA）开源的语义分割工具库，包含了 OCR（Object-Contextual Representations）、OCNet、ISA 以及 SegFix 等经典算法的实现。该库在 Cityscapes、ADE20K 等多个基准测试中曾取得 SOTA 成绩。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.6+ (推荐 3.7 或 3.8)
• PyTorch: 1.7+ (官方分支 pytorch-1.7 已支持混合精度训练和分布式训练)
• GPU: 支持 CUDA 的 NVIDIA 显卡

前置依赖安装

建议使用国内镜像源加速依赖安装。首先创建并激活虚拟环境（可选但推荐）：

python -m venv openseg_env
source openseg_env/bin/activate

安装 PyTorch（请以 pytorch.org 最新命令为准，此处以 CUDA 11.0 为例）：

pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 -f https://download.pytorch.org/whl/torch_stable.html

安装其他核心依赖：

pip install opencv-python-headless scipy pillow tqdm pyyaml tensorboardX -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

克隆项目代码并安装必要的额外组件。

# 克隆仓库
git clone https://github.com/openseg-group/openseg.pytorch.git
cd openseg.pytorch

# 切换到支持 PyTorch 1.7+ 的稳定分支（推荐）
git checkout pytorch-1.7

# 安装项目依赖 (如有 requirements.txt)
if [ -f requirements.txt ]; then
    pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
fi

# 编译自定义算子 (如果项目包含 cuda 扩展，通常需要执行此步，具体视 setup.py 而定)
# 注意：openseg.pytorch 主要基于纯 Python 和标准 Torch 操作，若无需特殊编译可跳过
# python setup.py build_ext --inplace 

提示：该项目基于 segbox.pytorch 开发，请确保目录结构完整。如需使用预训练模型，请访问 Model Zoo 下载对应的 checkpoint 文件并放入 pretrained_models/ 目录。

基本使用

以下以在 Cityscapes 数据集上评估预训练的 HRNet + OCR 模型为例，展示最简单的推理流程。

1. 准备数据

确保数据集已按照 Cityscapes 格式整理，并修改配置文件中的路径。通常需编辑 config/cityscapes/hrnet_w48_ocr_bs48.yaml (具体文件名视版本而定)，将 DATA_DIR 指向你的数据集根目录。

2. 单卡推理示例

使用提供的脚本进行单张图片或多张图片的推理。假设你已下载好权重文件 cityscapes_hrnet_w48_ocr.pth。

# 运行评估脚本
# --cfg: 配置文件路径
# --model-file: 预训练权重路径
# --data-dir: 数据集路径 (可选，若在配置文件中已写死)

python tools/test.py \
    --cfg config/cityscapes/hrnet_w48_ocr_bs48.yaml \
    --model-file pretrained_models/cityscapes_hrnet_w48_ocr.pth \
    --data-dir /path/to/cityscapes

3. 使用 SegFix 优化结果

SegFix 是一个与模型无关的边界细化模块，可以显著提升现有分割结果的边缘质量。

# 运行 SegFix 细化脚本
# 需要指定原始预测结果目录和输出目录

python tools/segfix.py \
    --input-dir /path/to/raw_predictions \
    --output-dir /path/to/refined_predictions \
    --model-file pretrained_models/segfix_cityscapes.pth

4. 分布式训练示例

若需从头训练或使用多卡微调，可使用 PyTorch 原生分布式启动方式：

# 使用 4 张 GPU 进行分布式训练
python -m torch.distributed.launch --nproc_per_node=4 tools/train.py \
    --cfg config/cityscapes/hrnet_w48_ocr_bs48.yaml \
    --data-dir /path/to/cityscapes

---

注意：具体配置文件名称和参数可能随版本更新略有变化，请以仓库内 config/ 目录下的实际文件为准。更多详细用法和超参数调整请参考官方文档及对应论文。