HRFormer：用于密集预测的高分辨率 Transformer，NeurIPS 2021

简介

这是 高分辨率 Transformer (HRFormer) 的官方实现。我们提出了一种高分辨率 Transformer（HRFormer），它能够为密集预测任务学习高分辨率表示，这与原始的 Vision Transformer（视觉 Transformer）形成对比，后者产生低分辨率表示且具有较高的内存和计算成本。我们利用了高分辨率卷积网络（HRNet）中引入的多分辨率并行设计，以及局部窗口自注意力（local-window self-attention），后者在小的不重叠图像窗口上执行自注意力操作，以提高内存和计算效率。此外，我们在前馈网络（FFN）中引入了卷积，以在不连接的图像窗口之间交换信息。我们展示了高分辨率 Transformer 在人姿态估计和语义分割任务上的有效性。

• HRFormer 架构：

• HRFormer 单元（trans. unit）：

姿态估计

2D 人体姿态估计

基于 COCO val2017 数据集的结果，检测器在 COCO val2017 数据集上的人体 AP 为 56.4

骨干网络	输入尺寸	AP	AP50	AP75	ARM	ARL	AR	权重文件	日志	配置文件
HRFormer-S	256x192	74.0%	90.2%	81.2%	70.4%	80.7%	79.4%	权重文件	日志	配置文件
HRFormer-S	384x288	75.6%	90.3%	82.2%	71.6%	82.5%	80.7%	权重文件	日志	配置文件
HRFormer-B	256x192	75.6%	90.8%	82.8%	71.7%	82.6%	80.8%	权重文件	日志	配置文件
HRFormer-B	384x288	77.2%	91.0%	83.6%	73.2%	84.2%	82.0%	权重文件	日志	配置文件

基于 COCO test-dev 数据集的结果，检测器在 COCO val2017 数据集上的人体 AP 为 56.4

骨干网络	输入尺寸	AP	AP50	AP75	ARM	ARL	AR	权重文件	日志	配置文件
HRFormer-S	384x288	74.5%	92.3%	82.1%	70.7%	80.6%	79.8%	权重文件	日志	配置文件
HRFormer-B	384x288	76.2%	92.7%	83.8%	72.5%	82.3%	81.2%	权重文件	日志	配置文件

模型首先在 ImageNet-1K 数据集上进行预训练，然后在 COCO val2017 数据集上进行微调。

语义分割

Cityscapes

在 Cityscapes 数据集上的性能表现。模型分别在 512x1024 和 1024x2048 的输入尺寸下进行训练和测试。

方法	Backbone (骨干网络)	窗口大小	训练集	验证集	迭代次数	批次大小	OHEM (在线难例挖掘)	mIoU (平均交并比)	mIoU (多尺度)	日志	ckpt (检查点)	脚本
OCRNet	HRFormer-S	7x7	训练集	验证集	80000	8	是	80.0	81.0	log	ckpt	script
OCRNet	HRFormer-B	7x7	训练集	验证集	80000	8	是	81.4	82.0	log	ckpt	script
OCRNet	HRFormer-B	15x15	训练集	验证集	80000	8	是	81.9	82.6	log	ckpt	script

PASCAL-Context

模型使用 520x520 的输入尺寸进行训练，并在原始尺寸下进行测试。

方法	Backbone	窗口大小	训练集	验证集	迭代次数	批次大小	OHEM	mIoU	mIoU (Multi-Scale)	Log	ckpt	script
OCRNet	HRFormer-S	7x7	训练集	验证集	60000	16	是	53.8	54.6	log	ckpt	script
OCRNet	HRFormer-B	7x7	训练集	验证集	60000	16	是	56.3	57.1	log	ckpt	script
OCRNet	HRFormer-B	15x15	训练集	验证集	60000	16	是	57.6	58.5	log	ckpt	script

COCO-Stuff

模型使用 520x520 的输入尺寸进行训练，并在原始尺寸下进行测试。

方法	Backbone	窗口大小	训练集	验证集	迭代次数	批次大小	OHEM	mIoU	mIoU (Multi-Scale)	Log	ckpt	script
OCRNet	HRFormer-S	7x7	训练集	验证集	60000	16	是	37.9	38.9	log	ckpt	script
OCRNet	HRFormer-B	7x7	训练集	验证集	60000	16	是	41.6	42.5	log	ckpt	script
OCRNet	HRFormer-B	15x15	训练集	验证集	60000	16	是	42.4	43.3	log	ckpt	script

ADE20K

模型使用 520x520 的输入尺寸进行训练，并在原始尺寸下进行测试。窗口大小为 15x15 的结果稍后将更新。

方法	Backbone	窗口大小	训练集	验证集	迭代次数	批次大小	OHEM	mIoU	mIoU (Multi-Scale)	Log	ckpt	script
OCRNet	HRFormer-S	7x7	训练集	验证集	150000	8	是	44.0	45.1	log	ckpt	script
OCRNet	HRFormer-B	7x7	训练集	验证集	150000	8	是	46.3	47.6	log	ckpt	script
OCRNet	HRFormer-B	13x13	训练集	验证集	150000	8	是	48.7	50.0	log	ckpt	script
OCRNet	HRFormer-B	15x15	训练集	验证集	150000	8	是	-	-	-	-	-

分类

ImageNet-1K 上的结果

Backbone	Top-1 准确率 (acc@1)	Top-5 准确率 (acc@5)	参数量	FLOPs (浮点运算次数)	ckpt	log	script
HRFormer-T	78.6%	94.2%	8.0M	1.83G	ckpt	log	script
HRFormer-S	81.2%	95.6%	13.5M	3.56G	ckpt	log	script
HRFormer-B	82.8%	96.3%	50.3M	13.71G	ckpt	log	script

引用

如果您在研究中发现本项目有用，请考虑引用：

@article{YuanFHLZCW21,
  title={HRFormer: High-Resolution Transformer for Dense Prediction},
  author={Yuhui Yuan and Rao Fu and Lang Huang and Weihong Lin and Chao Zhang and Xilin Chen and Jingdong Wang},
  booktitle={NeurIPS},
  year={2021}
}

致谢

本项目基于 Swin-Transformer、openseg.pytorch 和 mmpose 开发。

git diff-index HEAD
git subtree add -P pose <url to sub-repo> <sub-repo branch>

HRFormer 快速上手指南

简介

HRFormer (High-Resolution Transformer) 是一种用于密集预测任务的高分辨率 Transformer。相比传统的 Vision Transformer，它在保持高分辨率表示的同时，通过多分辨率并行设计和局部窗口自注意力机制降低了内存和计算成本。该工具支持人体姿态估计、语义分割和图像分类任务。

环境准备

建议配置如下开发环境：

• 操作系统：Linux (推荐) / Windows
• 编程语言：Python 3.7+
• 深度学习框架：PyTorch (根据项目需求选择版本)
• 硬件加速：NVIDIA GPU (CUDA)
• 依赖基础：本项目基于 Swin-Transformer、openseg.pytorch 和 mmpose 开发。

建议使用国内镜像源加速依赖下载（如清华源）：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆代码库

git clone <repository_url>
cd <repository_directory>

2. 初始化子模块

根据 README 底部的说明，该项目可能使用了 git subtree 管理部分代码（如 pose 目录），请执行以下命令初始化：

git diff-index HEAD
git subtree add -P pose <url to sub-repo> <sub-repo branch>

(注：具体 URL 和分支请参考原仓库文档或配置文件)

3. 安装依赖

由于依赖多个 OpenMMLab 生态项目，请确保安装对应的核心库。通常需安装以下包（具体版本请参照各基础项目要求）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install mmcv-full
pip install mmdet
pip install mmsegmentation
pip install mmpose

基本使用

本工具主要包含三个任务模块，具体配置文件和脚本路径已在 README 中列出。

1. 2D 人体姿态估计 (Pose Estimation)

• 配置文件位置：./pose/configs/top_down/hrt/coco/
• 示例脚本：参考表格中的 script 列链接，例如运行小模型配置：

  python ./pose/configs/top_down/hrt/coco/hrt_small_coco_256x192.py
  

• 预训练模型：可从 README 提供的 OneDrive 链接下载 ckpt 文件并放置于相应目录。

2. 语义分割 (Semantic Segmentation)

• 数据集：支持 Cityscapes, PASCAL-Context, COCO-Stuff, ADE20K。
• 运行脚本：位于 ./seg/scripts/ 目录下。
• 示例命令：以 Cityscapes 为例：

  bash ./seg/scripts/cityscapes/hrt/run_hrt_small_ocr_v2_ohem.sh
  

3. 图像分类 (Classification)

• 配置文件位置：./cls/configs/hrt/
• 示例脚本：

  python ./cls/configs/hrt/hrt_tiny.yaml
  

• 数据集：ImageNet-1K。

注意事项

• 所有模型均在 ImageNet-1K 上预训练后，在特定数据集上进行微调。
• 推理时请确保输入尺寸与配置文件一致（如 256x192, 512x1024 等）。
• 详细参数调整请参考各任务下的配置文件。