Designing a Practical Degradation Model for Deep Blind Image Super-Resolution（设计用于深度盲图像超分辨率的实用退化模型）

Kai Zhang、Jingyun Liang、Luc Van Gool、Radu Timofte
Computer Vision Lab（计算机视觉实验室）, ETH Zurich, Switzerland

[论文] [测试代码] [训练代码]

我们关于真实图像去噪的新工作 ---> https://github.com/cszn/SCUNet

我们的工作是真实图像超分辨率的起点，而非终点。

---

• 新闻 (2021-08-31): 我们上传了训练代码。
• 新闻 (2021-08-24): 我们上传了 BSRGAN 退化模型。

from utils import utils_blindsr as blindsr
img_lq, img_hq = blindsr.degradation_bsrgan(img, sf=4, lq_patchsize=72)

• 新闻 (2021-07-23): 在被 CVPR 2021 拒稿后，我们的论文已被 ICCV 2021 接收。为保证公平性，我们不会在最终提交版本中更新训练好的模型，但可能会在 GitHub 上更新。
• 新闻 (2021-05-18): 新增了缩放因子为 2 的 BSRGAN 训练模型。
• 新闻 (2021-04): 我们针对人脸图像增强的退化模型：https://github.com/vvictoryuki/BSRGAN_implementation

训练

1. 下载 KAIR：git clone https://github.com/cszn/KAIR.git
2. 将你的高质量训练图像放入 trainsets/trainH 目录，或设置 "dataroot_H": "trainsets/trainH"
3. 训练 BSRNet
   1. 修改 train_bsrgan_x4_psnr.json，例如设置 "gpu_ids": [0]、"dataloader_batch_size": 4
   2. 使用 DataParallel 进行训练

   python main_train_psnr.py --opt options/train_bsrgan_x4_psnr.json
   

   2. 使用 DistributedDataParallel（4 块 GPU）

   python -m torch.distributed.launch --nproc_per_node=4 --master_port=1234 main_train_psnr.py --opt options/train_bsrgan_x4_psnr.json  --dist True
   

4. 训练 BSRGAN
   1. 将 BSRNet 模型（例如 '400000_G.pth'）放入 superresolution/bsrgan_x4_gan/models
   2. 修改 train_bsrgan_x4_gan.json，例如设置 "gpu_ids": [0]、"dataloader_batch_size": 4
   3. 使用 DataParallel 进行训练

   python main_train_gan.py --opt options/train_bsrgan_x4_gan.json
   

   3. 使用 DistributedDataParallel（4 块 GPU）

   python -m torch.distributed.launch --nproc_per_node=4 --master_port=1234 main_train_gan.py --opt options/train_bsrgan_x4_gan.json  --dist True
   

5. 通过修改 main_test_bsrgan.py 测试 BSRGAN 模型 'xxxxxx_E.pth'
   1. 'xxxxxx_E.pth' 比 'xxxxxx_G.pth' 更稳定

---

✨ 部分可视化示例: oldphoto2; butterfly; comic; oldphoto3; oldphoto6; comic_01; comic_03; comic_04

---

• 测试代码
• 核心思想
• 对比
• RealSRSet 数据集上的更多可视化结果
• DPED 数据集上的可视化结果
• 引用
• 致谢

测试代码

• main_test_bsrgan.py
• model_zoo（从 Google Drive 或 腾讯微云 下载以下模型）。
  • 提出的方法：
    • BSRGAN.pth [Google Drive] [腾讯微云]🌱
    • BSRNet.pth [Google Drive] [腾讯微云]🌱
  • 对比方法：
    • RRDB.pth ---> 原始链接
    • ESRGAN.pth ---> 原始链接
    • FSSR_DPED.pth ---> 原始链接
    • FSSR_DPED.pth ---> 原始链接
    • RealSR_DPED.pth ---> 原始链接
    • RealSR_JPEG.pth ---> 原始链接

核心思想

设计一种新的退化模型用于合成训练用的低分辨率（LR）图像：

• 1) 使模糊、下采样和噪声更贴近实际
  • 模糊（Blur）: 在高分辨率（HR）空间和低分辨率（LR）空间分别使用各向同性和各向异性高斯核进行两次卷积
  • 下采样（Downsampling）: 最近邻、双线性、双三次、下采样后再上采样
  • 噪声（Noise）: 高斯噪声、JPEG 压缩噪声、经处理的相机传感器噪声
• 2) 退化顺序随机打乱（Degradation shuffle）: 不同于常用的“模糊→下采样→加噪声”流程，我们对退化操作进行随机打乱以合成 LR 图像

关于所提出退化模型的一些说明：

• 该退化模型主要用于合成退化的 LR 图像。其最直接的应用是利用成对的 LR/HR 图像训练深度盲超分辨率模型。具体而言，该退化模型可在大规模 HR 图像数据集上生成无限量且完美对齐的训练图像，通常可避免人工收集的成对数据数量有限的问题，以及非成对训练数据存在的对齐不准问题。

• 该退化模型不太适合用于对单张已退化的 LR 图像进行建模，因为它涉及过多的退化参数，并采用了随机打乱策略。

• 该退化模型可能生成一些在现实场景中极少出现的退化情况，但这仍有望提升所训练深度盲超分辨率模型的泛化能力。

• 具有大容量的深度神经网络（DNN, Deep Neural Network）能够通过单一模型处理多种退化类型。这一点已被多次验证。例如，DnCNN 能够处理不同缩放因子的单图像超分辨率（SISR, Single Image Super-Resolution）、不同质量因子的 JPEG 压缩去块效应以及大范围噪声水平的去噪任务，同时在 SISR 任务上的性能仍可与 VDSR 相媲美。值得注意的是，即使该超分辨率模型在处理不切实际的双三次下采样（bicubic downsampling）时性能有所下降，它仍然是真实场景 SISR 的首选方案。

• 用户可以通过调整退化参数设置并加入更多合理的退化类型，方便地修改退化模型，从而提升其在特定应用中的实用性。

对比结果

这些无参考图像质量评估（IQA, Image Quality Assessment）指标，即 NIQE、NRQM 和 PI，并不总能与人类感知的视觉质量一致 [1]，并且随着新的 SISR 方法出现，IQA 指标也应随之更新 [2]。我们进一步认为，针对 SISR 的 IQA 指标还应随新的图像退化类型进行更新，这将留作未来的工作。

[1] "NTIRE 2020 challenge on real-world image super-resolution: Methods and results." CVPRW, 2020.
[2] "PIPAL: a large-scale image quality assessment dataset for perceptual image restoration." ECCV, 2020.

在 RealSRSet 数据集上的更多视觉结果

左图：真实图像 | 右图：使用缩放因子 4 超分辨率重建的图像

在 DPED 数据集上的视觉结果

尽管训练过程中未使用 DPED 数据集的任何先验信息，我们的 BSRGAN 仍然表现良好。

引用

@inproceedings{zhang2021designing,
    title={Designing a Practical Degradation Model for Deep Blind Image Super-Resolution},
    author={Zhang, Kai and Liang, Jingyun and Van Gool, Luc and Timofte, Radu},
    booktitle={IEEE International Conference on Computer Vision},
    pages={4791--4800},
    year={2021}
}

致谢

本工作部分得到了苏黎世联邦理工学院基金（OK）、华为技术（芬兰）有限公司项目以及亚马逊 AWS 资助的支持。

BSRGAN 快速上手指南

BSRGAN 是一种用于真实图像盲超分辨率（Blind Super-Resolution）的深度学习模型，通过更贴近真实场景的退化模型训练，可有效提升低质量图像的重建效果。

---

环境准备

系统要求：

• Linux / Windows / macOS（推荐 Linux）
• Python ≥ 3.7
• PyTorch ≥ 1.7
• 支持 CUDA 的 GPU（可选，但强烈推荐）

前置依赖：

pip install torch torchvision numpy opencv-python

💡 建议使用 清华源 或 阿里云镜像 加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision numpy opencv-python

---

安装步骤

1. 克隆主仓库（含测试代码）：

   git clone https://github.com/cszn/BSRGAN.git
   cd BSRGAN
   

2. （可选）克隆训练框架 KAIR：

   git clone https://github.com/cszn/KAIR.git
   

3. 下载预训练模型：

   将以下模型文件放入 model_zoo/ 目录（若目录不存在请手动创建）：

   • BSRGAN.pth（主模型）
   • BSRNet.pth（PSNR 预训练模型）

   国内用户推荐使用腾讯微云链接下载：

   • BSRGAN.pth（腾讯微云）
   • BSRNet.pth（腾讯微云）

   也可通过 Google Drive 下载（需科学上网）：模型链接

---

基本使用

1. 超分辨率重建（最简示例）

将待处理图像 input.png 放入项目根目录，运行：

python main_test_bsrgan.py --model_path model_zoo/BSRGAN.pth --input input.png --output output.png

默认放大倍数为 4 倍。如需其他倍数，请确保使用对应训练好的模型（如 sf=2 需使用 scale=2 的模型）。

2. 使用退化模型生成训练数据（可选）

在 Python 中调用退化函数生成配对的低清/高清图像：

from utils import utils_blindsr as blindsr
import cv2

img = cv2.imread('hq_image.png')  # 读取高清图像 (HWC, BGR)
img_lq, img_hq = blindsr.degradation_bsrgan(img, sf=4, lq_patchsize=72)
# img_lq: 生成的低清图像，img_hq: 对应裁剪后的高清图像

此功能适用于自定义训练数据合成。

---

✅ 提示：实际使用中，xxxxxx_E.pth 模型通常比 xxxxxx_G.pth 更稳定，测试时建议优先选用 _E.pth 结尾的权重。