CycleISP：通过改进的数据合成实现真实图像恢复（CVPR 2020 — 口头报告）

Syed Waqas Zamir、Aditya Arora、Salman Khan、Munawar Hayat、Fahad Shahbaz Khan、Ming-Hsuan Yang、Ling Shao

---

摘要：大规模数据集的可用性已帮助释放了深度卷积神经网络（CNN）的真正潜力。然而，对于单幅图像去噪问题而言，采集真实数据集是一项成本高昂且繁琐的工作。因此，大多数图像去噪算法都是在合成数据上开发和评估的，而这些合成数据通常是在假设存在加性高斯白噪声（AWGN）的前提下生成的。尽管CNN在这些合成数据集上取得了令人瞩目的成果，但当应用于真实相机图像时，其性能却并不理想，这一点已在近期的基准数据集中得到证实。这主要是因为AWGN无法充分模拟真实的相机噪声——这种噪声与信号相关，并且会受到相机成像流程的强烈影响。在本文中，我们提出了一种能够以正向和反向方式建模相机成像流程的框架。该框架使我们能够在RAW和sRGB空间中生成任意数量的真实图像对，用于去噪任务。通过在真实感合成数据上训练新的图像去噪网络，我们在真实相机基准数据集上实现了最先进的性能。我们的模型参数量仅为先前RAW去噪最佳方法的五分之一左右。此外，我们还证明了所提出的框架不仅适用于图像去噪问题，还可推广至立体电影中的色彩匹配等其他领域。

CycleISP：用于图像去噪的数据合成

提出的CycleISP框架能够将sRGB图像转换为RAW数据，然后再转换回sRGB图像。它包含（a）RGB2RAW网络分支和（b）RAW2RGB网络分支。

CycleISP整体框架

递归残差组（RRG）

提出的去噪网络

安装

该模型基于PyTorch 1.1.0构建，并在Ubuntu 16.04环境下进行了测试（Python3.7、CUDA9.0、cuDNN7.5）。

安装步骤如下：

sudo apt-get install cmake build-essential libjpeg-dev libpng-dev
conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image yacs lycon natsort h5py tqdm

使用CycleISP进行数据合成

• 下载所有模型，并将其放置于./pretrained_models/isp/目录下。
• 从MIR-Flickr数据集中下载一些示例图片，并将其放置于./datasets/some_sample_images/目录下。

生成用于RAW去噪的数据

RGB2RAW网络分支以一张干净的sRGB图像作为输入，将其转换为一张干净的RAW图像。随后，噪声注入模块会在RGB2RAW网络分支的RAW输出上添加不同级别的散粒噪声和读取噪声。由此，我们可以从任何sRGB图像中生成干净图像及其对应的噪声图像对{RAW_clean, RAW_noisy}。

• 运行演示：

python generate_raw_data.py 

生成用于sRGB去噪的数据

给定一张合成的RAW噪声图像作为输入，RAW2RGB网络分支将其映射为一张噪声的sRGB图像；因此，我们能够为sRGB去噪问题生成图像对{sRGB_clean, sRGB_noisy}。

• 运行演示：

python generate_rgb_data.py 

评估

您可以一次性从以下Google Drive链接下载CycleISP的完整仓库（包括预训练模型、数据集、结果等），或者按照以下说明分别评估各项任务：

DND数据集中的RAW图像去噪

• 下载模型，并将其放置于./pretrained_models/denoising/目录下。
• 下载DND数据集的RAW图片，并将其放置于./datasets/dnd/dnd_raw/目录下。
• 运行：

python test_dnd_raw.py --save_images

SIDD数据集中的RAW图像去噪

• 下载模型，并将其放置于./pretrained_models/denoising/目录下。
• 下载SIDD数据集的RAW图片，并将其放置于./datasets/sidd/sidd_raw/目录下。
• 运行：

python test_sidd_raw.py --save_images

DND数据集中的sRGB图像去噪

• 下载模型，并将其放置于./pretrained_models/denoising/目录下。
• 下载DND数据集的sRGB图片，并将其放置于./datasets/dnd/dnd_rgb/noisy/目录下。
• 运行：

python test_dnd_rgb.py --save_images

SIDD数据集中的sRGB图像去噪

• 下载模型，并将其放置于./pretrained_models/denoising/目录下。
• 下载SIDD数据集的sRGB图片，并将其放置于./datasets/sidd/sidd_rgb/目录下。
• 运行：

python test_sidd_rgb.py --save_images

真实图像数据集上的结果

实验针对RAW和sRGB空间中的图像去噪进行了开展。CycleISP产生的结果可从Google Drive链接下载。

RAW 去噪结果

sRGB 去噪结果

引用

如果您使用 CycleISP，请考虑引用以下文献：

@inproceedings{Zamir2020CycleISP,
    title={CycleISP: 通过改进的数据合成实现真实图像恢复},
    author={Syed Waqas Zamir、Aditya Arora、Salman Khan、Munawar Hayat、Fahad Shahbaz Khan、Ming-Hsuan Yang 和 Ling Shao},
    booktitle={CVPR},
    year={2020}
}

联系方式

如有任何问题，请联系 waqas.zamir@inceptioniai.org

我们的相关工作

-- 用于快速图像恢复与增强的特征增强学习，TPAMI 2022。论文 | 代码

• Restormer：高效高分辨率图像恢复 Transformer，CVPR 2022。论文 | 代码
• 多阶段渐进式图像恢复，CVPR 2021。论文 | 代码
• 用于真实图像恢复与增强的特征增强学习，ECCV 2020。论文 | 代码

CycleISP 快速上手指南

CycleISP 是一个用于真实图像复原的框架，通过改进的数据合成技术，能够生成逼真的 RAW 和 sRGB 图像去噪训练数据，并在真实相机基准数据集上达到最先进水平。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Ubuntu 16.04 (推荐) 或其他 Linux 发行版
• Python: 3.7
• PyTorch: 1.1.0
• CUDA: 9.0
• cuDNN: 7.5

前置依赖库: 需要安装 cmake, build-essential, libjpeg-dev, libpng-dev 等基础开发库。

安装步骤

1. 安装系统级依赖

sudo apt-get install cmake build-essential libjpeg-dev libpng-dev

2. 创建 Conda 环境并安装 PyTorch

建议使用 Conda 管理环境。以下命令将创建名为 pytorch1 的环境并安装指定版本的 PyTorch：

conda create -n pytorch1 python=3.7
conda activate pytorch1
# 官方源安装 (如网络较慢，可尝试替换为清华源或中科大源)
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch

国内加速提示: 如果下载速度慢，可使用清华镜像源： conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

3. 安装 Python 依赖包

pip install matplotlib scikit-image yacs lycon natsort h5py tqdm

国内加速提示: 使用 pip 时建议指定国内源，例如： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib scikit-image yacs lycon natsort h5py tqdm

4. 下载预训练模型

下载 预训练模型 并将其放置在项目根目录下的 ./pretrained_models/isp/ 文件夹中。

基本使用

CycleISP 主要用于合成去噪训练数据（从 sRGB 生成 RAW 噪声数据，或从 RAW 生成 sRGB 噪声数据）。

准备工作

下载一些示例图片（例如来自 MIR-Flickr 数据集），并将它们放入 ./datasets/some_sample_images/ 目录。

场景一：生成 RAW 去噪数据

此过程将干净的 sRGB 图像转换为干净的 RAW 图像，并添加不同级别的散粒噪声和读取噪声，生成 {RAW_clean, RAW_noisy} 图像对。

运行以下命令：

python generate_raw_data.py 

场景二：生成 sRGB 去噪数据

此过程将合成的带噪声 RAW 图像映射回带噪声的 sRGB 图像，从而生成 {sRGB_clean, sRGB_noisy} 图像对，用于 sRGB 空间的去噪任务。

运行以下命令：

python generate_rgb_data.py 

场景三：评估现有模型 (以 DND RAW 去噪为例)

如果您想直接在基准数据集上测试效果：

1. 下载 DND RAW 模型 至 ./pretrained_models/denoising/。
2. 下载 DND RAW 测试集 至 ./datasets/dnd/dnd_raw/。
3. 运行测试：

python test_dnd_raw.py --save_images

(注：SIDD 数据集及 sRGB 空间的测试流程类似，请参考项目 README 中的 Evaluation 章节替换对应的模型和数据路径)