用于真实图像恢复与增强的学习丰富特征（ECCV 2020）

Syed Waqas Zamir、Aditya Arora、Salman Khan、Munawar Hayat、Fahad Shahbaz Khan、Ming-Hsuan Yang、Ling Shao

---

最新消息

• MIRNet 的轻量级、快速扩展版本已被 TPAMI 接收。论文 | 代码

• Keras 关于 MIRNet 的教程已在 https://keras.io/examples/vision/mirnet/ 上发布。

• TensorFlow YouTube 频道上的视频：https://youtu.be/BMza5yrwZ9s

• （非官方）实现链接已添加至 此处。

---

摘要： 为了从退化的图像中恢复高质量的图像内容，图像恢复技术在监控、计算摄影、医学成像和遥感等领域有着广泛的应用。近年来，卷积神经网络（CNN）在图像恢复任务上取得了显著优于传统方法的成果。现有的基于 CNN 的方法通常在全分辨率或逐步降低分辨率的表示上进行操作。前者能够生成空间精确但上下文信息较弱的结果，而后者则会产生语义可靠但空间精度较低的输出。本文提出了一种新颖的架构，旨在在整个网络中保持高分辨率的空间精确表示，并从低分辨率表示中获取强大的上下文信息。我们的方法核心是一个多尺度残差块，包含以下几个关键组件：(a) 用于提取多尺度特征的并行多分辨率卷积流；(b) 多分辨率流之间的信息交换；(c) 用于捕捉上下文信息的空间和通道注意力机制；以及 (d) 基于注意力的多尺度特征聚合。简而言之，我们的方法学习了一组丰富的特征，这些特征结合了来自不同尺度的上下文信息，同时保留了高分辨率的空间细节。在五个真实图像基准数据集上的大量实验表明，我们提出的名为 MIRNet 的方法在多种图像处理任务上均达到了最先进的水平，包括图像去噪、超分辨率和图像增强。

网络架构（点击展开）

MIRNet 总体框架

选择性核特征融合（SKFF）	下采样模块

双注意力单元（DAU）	上采样模块

安装

该模型基于 PyTorch 1.1.0 构建，并在 Ubuntu 16.04 环境（Python 3.7、CUDA 9.0、cuDNN 7.5）上进行了测试。

安装步骤如下：

sudo apt-get install cmake build-essential libjpeg-dev libpng-dev
conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

训练

1. 从 这里 下载 SIDD-Medium 数据集。
2. 生成图像补丁：

python generate_patches_SIDD.py --ps 256 --num_patches 300 --num_cores 10

3. 下载 SIDD 的验证图像，并将其放置在 ../SIDD_patches/val 目录下。

4. 安装预热调度器：

cd pytorch-gradual-warmup-lr; python setup.py install; cd ..

5. 使用默认参数训练模型：

python train_denoising.py

注意： 我们的模型是在两块 Nvidia Tesla-V100 GPU 上训练的。如需调整模型参数，请参阅 #5。

评估

您可以一次性从 Google Drive 链接 下载完整的 MIRNet 仓库（包括预训练模型、数据集、结果等），或者按照以下说明单独评估各项任务：

图像去噪

• 下载 模型，并将其放置在 ./pretrained_models/denoising/ 目录下。

在 SIDD 数据集上测试

• 下载 SIDD 的 sRGB 图像，并将其放置在 ./datasets/sidd/ 目录下。
• 运行：

python test_sidd_rgb.py --save_images

在 DND 数据集上测试

• 下载 DND 的 sRGB 图像，并将其放置在 ./datasets/dnd/ 目录下。
• 运行：

python test_dnd_rgb.py --save_images

图像超分辨率

• 下载 模型，并将其放置在 ./pretrained_models/super_resolution/ 目录下。
• 下载不同缩放因子的 图像，并将其放置在 ./datasets/super_resolution/ 目录下。
• 运行：

python test_super_resolution.py --save_images --scale 3
python test_super_resolution.py --save_images --scale 4

图像增强

在 LOL 数据集上的测试

• 下载 LOL 模型，并将其放置在 ./pretrained_models/enhancement/ 目录下。
• 下载 LOL 数据集的 图像，并将它们放置在 ./datasets/lol/ 目录下。
• 运行以下命令：

python test_enhancement.py --save_images --input_dir ./datasets/lol/ --result_dir ./results/enhancement/lol/ --weights ./pretrained_models/enhancement/model_lol.pth

在 Adobe-MIT FiveK 数据集上的测试

• 下载 FiveK 模型，并将其放置在 ./pretrained_models/enhancement/ 目录下。
• 下载一些 FiveK 数据集的 样本图像，并将它们放置在 ./datasets/fivek_sample_images/ 目录下。
• 运行以下命令：

python test_enhancement.py --save_images --input_dir ./datasets/fivek_sample_images/ --result_dir ./results/enhancement/fivek/ --weights ./pretrained_models/enhancement/model_fivek.pth

结果

我们在五个真实图像数据集上进行了实验，涵盖了图像去噪、超分辨率和图像增强等不同的图像处理任务。MIRNet 生成的图像可以从 Google Drive 链接下载。

图像去噪（点击展开）

图像超分辨率（点击展开）

图像增强（点击展开）

其他实现

• TensorFlow（Soumik Rakshit）
• TensorFlow.js（Rishit Dagli）
• TensorFlow Lite（Sayak Paul）

引用

如果您使用 MIRNet，请考虑引用以下文献：

@inproceedings{Zamir2020MIRNet,
    title={Learning Enriched Features for Real Image Restoration and Enhancement},
    author={Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat
            and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
    booktitle={ECCV},
    year={2020}
}

联系方式

如有任何问题，请联系 waqas.zamir@inceptioniai.org

我们的相关工作

• 面向快速图像恢复与增强的丰富特征学习，TPAMI 2022。论文 | 代码
• Restormer：用于高分辨率图像恢复的高效 Transformer，CVPR 2022。论文 | 代码
• 多阶段渐进式图像恢复，CVPR 2021。论文 | 代码
• CycleISP：通过改进的数据合成实现真实图像恢复，CVPR 2020。论文 | 代码

MIRNet 快速上手指南

MIRNet 是一个用于真实图像复原与增强的深度学习模型，在图像去噪、超分辨率和图像增强任务上均达到了当时的最先进水平（SOTA）。其核心优势在于能够同时保持高分辨率的空间细节并融合多尺度的上下文信息。

环境准备

本项目基于 PyTorch 1.1.0 构建，建议在 Ubuntu 16.04 环境下运行。

系统要求：

• 操作系统: Linux (推荐 Ubuntu 16.04+)
• Python: 3.7
• CUDA: 9.0
• cuDNN: 7.5
• GPU: 推荐使用 Nvidia GPU（原作者使用 2 张 Tesla-V100 训练）

前置依赖： 需要安装 cmake, build-essential, libjpeg-dev, libpng-dev 等系统库。

安装步骤

1. 安装系统级依赖

sudo apt-get install cmake build-essential libjpeg-dev libpng-dev

2. 创建 Conda 环境并安装 PyTorch

conda create -n pytorch1 python=3.7
conda activate pytorch1
# 安装指定版本的 PyTorch, torchvision 和 cudatoolkit
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch

提示：国内用户若下载缓慢，可尝试添加清华源或中科大源配置，或使用 pip 安装对应版本的 torch wheel。

3. 安装 Python 依赖包

pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

4. 安装 Warmup Scheduler (训练必需)

cd pytorch-gradual-warmup-lr
python setup.py install
cd ..

基本使用

MIRNet 支持图像去噪、超分辨率和图像增强三种主要任务。以下是使用预训练模型进行推理的最简流程。

第一步：下载预训练模型

根据你需要执行的任务，从 Google Drive 下载对应的 .pth 权重文件，并放入指定目录：

• 图像去噪 (Denoising): 下载 model 至 ./pretrained_models/denoising/
• 超分辨率 (Super-resolution): 下载 models 至 ./pretrained_models/super_resolution/
• 图像增强 (Enhancement): 下载 LOL model 至 ./pretrained_models/enhancement/

第二步：准备测试数据

将测试图片放置在对应的数据集文件夹中（例如 ./datasets/sidd/ 或 ./datasets/lol/），具体路径需参考各任务的脚本要求。

第三步：运行推理脚本

场景 A：图像去噪 (以 SIDD 数据集为例)

python test_sidd_rgb.py --save_images

场景 B：图像超分辨率 (放大 3 倍或 4 倍)

# 放大 3 倍
python test_super_resolution.py --save_images --scale 3
# 放大 4 倍
python test_super_resolution.py --save_images --scale 4

场景 C：图像增强 (以 LOL 低光照增强为例)

python test_enhancement.py --save_images --input_dir ./datasets/lol/ --result_dir ./results/enhancement/lol/ --weights ./pretrained_models/enhancement/model_lol.pth

运行完成后，处理后的图像将保存在指定的 result_dir 或默认输出目录中。