基于跳跃连接与网络内网络的深度CNN实现快速且准确的图像超分辨率

作者：Jin Yamanaka、Shigesumi Kuwashima 和 Takio Kurita

概述（版本2）

这是对论文《基于跳跃连接与网络内网络的深度CNN实现快速且准确的图像超分辨率》（arXiv:1707.05425）的TensorFlow实现，该论文提出了一种基于深度学习的单幅图像超分辨率（SISR）模型。我们将其命名为DCSCN。如果您正在查看论文中的代码和结果，请参阅ver1分支。

模型结构如下所示。我们使用了带有残差网络、跳跃连接和网络内网络的深度CNN。深度CNN与跳跃连接层的组合被用作提取局部和全局图像特征的特征提取器。同时，类似于“网络内网络”的并行化1×1卷积网络也被用于图像重建。

作为版本2，我们还实现了以下功能：

• 来自论文《利用高效的亚像素卷积神经网络进行实时单幅图像和视频超分辨率》（arXiv:1609.05158）的__像素洗牌__
• 来自论文《用于语义分割的全卷积网络》（arXiv:1411.4038）的__转置卷积__（可选）
• 来自论文《改进基于示例的单幅图像超分辨率的七种方法》（arXiv:1511.02228）的__自集成__
• 裁剪归一化（梯度裁剪）
• 动态加载训练图像（可选）
• 添加额外层或更新默认参数以获得更好的PSNR结果
• 来自论文《Xception：深度可分离卷积的深度学习》（arXiv:1610.02357）的__深度可分离卷积__。由Chew Jing Wei添加。深度可分离卷积通过将传统卷积层的计算分为两个步骤来降低模型复杂度。第一步是进行深度卷积，即每个输入通道独立地与其他通道隔离进行卷积；第二步则是进行逐点卷积，即将每个深度滤波器的输出堆叠起来，再通过一个1×1的滤波器确定该层最终的输出通道数。如需更完整且适合初学者的解释，请参阅https://towardsdatascience.com/a-basic-introduction-to-separable-convolutions-b99ec3102728。

示例结果

输入图像（橙色）与x4双三次插值	我们的DCSCN输出

与基于深度学习的其他SISR模型相比，我们的DCSCN模型要轻量得多，这一点在版本1中已经体现。而在版本2中，我们采用了更大的模型和最新的技术，以获得更好的图像恢复性能。

环境要求

Python >= 3.5
TensorFlow >= 2.0.0, scipy, numpy, pillow, imageio 和 scikit-image

PSNR结果

以下是使用默认参数的示例结果。该模型使用DIV2k数据集进行了训练，每轮包含15万张48×48的图像。

数据集	缩放倍数	双三次插值	c-DCSCN（版本1）	DRCN	VDSR	DCSCN（版本2）	DRRN
set5	x2	33.66	37.15	37.63	37.53	37.79	37.74
	x3	30.39	33.09	33.82	33.66	34.06	34.03
	x4	28.42	30.85	31.53	31.35	31.72	31.68
set14	x2	30.24	32.74	33.04	33.03	33.25	33.23
	x3	27.55	29.47	29.76	29.77	29.95	29.96
	x4	26.00	27.76	28.02	28.01	28.25	28.21
bsd100	x2	29.56	31.61	31.85	31.90	32.00	32.05
	x3	27.21	28.52	28.80	28.82	28.89	28.95
	x4	25.96	27.06	27.23	27.29	27.35	27.38

结果和模型将在几天内上传！！

评估

本GitHub仓库包含了部分参数的预训练权重。请使用以下参数执行evaluate.py，结果将保存在output目录中。如果您希望使用其他参数进行评估，建议先进行训练，然后再使用与训练时相同的参数进行评估。评估日志将记录在log.txt文件中，请查阅。

其中包含了一些预训练模型：

# 评估set14数据集
python3 evaluate.py --test_dataset=set14 --save_results=true

# 评估set5数据集并使用小型模型
python3 evaluate.py --test_dataset=set5 --save_results=true --layers=8 --filters=96

# 评估所有数据集（set5、set14、bsd100）
python3 evaluate.py --test_dataset=all

# 评估我们的紧凑版DCSCN（c-DCSCN）
python3 evaluate.py --scale=2 --layers=7 --filters=32 --min_filters=8 --filters_decay_gamma=1.2 --nin_filters=24 --nin_filters2=8 --reconstruct_layers=0 --self_ensemble=1 --batch_image_size=32 --pixel_shuffler_filters=1 --test_dataset=all

应用于您自己的图像

将您的图像文件放置在项目目录中。然后运行“sr.py --file 'your_image_file'”以应用超分辨率处理。结果将生成在output目录中。请注意，您应使用与训练时相同的参数。

例如，如果您想对image001.png应用此模型，可以尝试以下操作：

# 对image001.jpg应用超分辨率（结果将在output目录中显示）
python3 sr.py --file=your_file.png

# 使用小型模型应用超分辨率
python3 sr.py --file=your_file.png --layers=8 --filters=96

如何使用您自己的数据集进行训练

您可以使用任何数据集进行训练。将您的图像文件作为训练数据放入data目录下的相应文件夹中，然后通过--dataset参数指定。由于训练过程中有一些重要的超参数需要设置，请参阅args.py，以了解如何使用其他训练参数。

一旦确定了训练参数，模型名称将根据这些参数自动定义。例如，使用默认参数时，模型名称可能为“dcscn_L12_F196to48_NIN_A64_PS_R1F32”，该名称代表了模型的具体结构。

# 使用bsd200数据集进行x2倍缩放的训练
python3 train.py --dataset=bsd200 --training_images=80000

# 使用您自己的数据集进行x3倍缩放的训练
python3 train.py --scale=3 --dataset=[您自己的数据目录]

# 使用转置卷积代替像素洗牌层进行上采样，以实现2倍放大
python3 train.py --dataset=bsd200 --training_images=80000 --pixel_shuffler=false

• 每次训练和评估的摘要都会被记录到 log.txt 中。
• 模型将保存在 models/"模型名称".ckpt 下。
• 评估结果图像会生成在 output/"模型名称"/data/[数据集目录名] 目录下。
• 当你使用 evaluate.py / sr.py 脚本时，请确保使用的参数与训练时完全一致，这样脚本才能加载你自己训练好的 "模型名称".ckpt 文件。

使用小型模型进行训练/测试（适用于CPU）

如果出现以下情况：1) 你使用的是CPU；2) 训练数据量较小；或3) 只是想测试一下是否能正常工作，我建议你使用更小的模型。对于我的DCSCN模型来说，8层、每层96个滤波器的配置已经具备足够的性能。而在CPU环境下，4–6层、每层32–64个滤波器的配置则是一个不错的起点。

# 使用小型模型进行2倍放大训练
python3 train.py --dataset=bsd200 --layers=8 --filters=96 --training_images=30000

# 使用微型模型进行测试性2倍放大训练
python3 train.py --dataset=set5 --layers=4 --filters=32 --use_nin=false --training_images=10000

在我的论文中，我们提出了一种紧凑版的DCSCN（c-DCSCN）。如果你想尝试用这个模型进行训练，可以使用以下选项。（2倍缩放）

python3 train.py --scale=2 --layers=7 --filters=32 --min_filters=8 --filters_decay_gamma=1.2 --nin_filters=24 --nin_filters2=8 --reconstruct_layers=0 --self_ensemble=1 --dataset=yang_bsd_8 --training_images=228688 --batch_image_size=32 --build_batch=True --do_benchmark=True --pixel_shuffler_filters=1

加快训练速度

请注意，每次训练都需要加载和转换批次图像，这一过程较为耗时，尤其是在迭代次数较多的情况下。以下是一些优化选项，可以帮助显著缩短训练时间：

1. 使用 “convert_y.py” 将你的数据集图像转换为Y通道单色位图。

如果你的训练数据是以PNG或JPEG等压缩格式存储的，并且图像分辨率较高，那么在训练之前必须先进行转换。特别是对于DIV2K数据集，这样做可以大大节省解压和图像转换的时间。此外，在这种模式下，每个输入批次图像有50%的概率会被水平翻转。

2. 对于较小的数据集，可以使用 “--build_batch True” 选项。

如果你的数据集足够小，能够完全存放在CPU内存中，就可以使用此选项。它会提前将源图像分割成批次图像并保存下来，以便在训练过程中重复使用。如果你使用的是HDD（而非SSD），并且数据集规模不大（例如Yang91 + BSD200通过8种方式增强后的数据集），那么这个选项非常有用。它可以避免每次训练时都重新加载和转换图像的过程。

在这种情况下，批次图像的位置会被调整并限制在以半批图像尺寸为网格的范围内。不过，根据我的实验，这并不会对PSNR性能产生太大影响。

如何设置 --training_images 参数？

--training_images 参数表示一个epoch内训练的图像块数量。通常情况下，它的值应与输入训练图像块的总数相同。当你使用 build_batch=True 时，训练程序会在训练前在 "batch_data" 目录下生成一批图像块，这样你就能清楚地看到训练数据中有多少个批次图像。

然而，具体的数值还需要根据图像类型、多样性以及模型复杂度来决定。你可以从非常小的值开始，比如1,000，如果效果不够理想，再逐步增加到10万至20万。

重要参数

参数名	名称	默认值	说明
layers	CNN层数	12	特征提取CNN的层数
filters	第一层CNN滤波器数量	196	第一层特征提取CNN的滤波器数量
min_filters	最后一层CNN滤波器数量	48	最后一层特征提取CNN的滤波器数量
filters_decay_gamma	滤波器衰减系数	1.5	每层的CNN滤波器数量会按照该系数从[filters]衰减到[min_filters]
pixel_shuffler	像素洗牌层	True	是否使用像素洗牌层作为上采样层。若为False，则使用转置卷积作为上采样层。
self_ensemble	自集成	8	对1–8张翻转/旋转后的图像分别进行超分辨率处理，然后取平均图像作为最终结果。
training_images	每个训练epoch的批次图像数	24000	这个数值决定了一个epoch内用于训练的批次图像数量。我通常会为每个学习率设置10个epoch，每个epoch使用10万批次图像。
dropout_rate	Dropout率	0.8	输出节点保留的概率。取值范围为1 ≥ drop out > 0。若为1，则不使用Dropout。
initializer	初始化方法	he	各权重的初始化方法。可选值包括[uniform, stddev, xavier, he, identity, zero]。
activator	激活函数	prelu	每层CNN的激活函数类型。可选值包括[relu, leaky_relu, prelu, sigmoid, tanh]。
optimizer	优化器函数	adam	优化器的方法。可选值包括[gd, momentum, adadelta, adagrad, adam, rmsprop]。
batch_image_size	每个批次的图像尺寸	48	每张训练图像都会被分割成这个尺寸的小块。
batch_num	每个批次的图像数量	20	一次训练步骤中使用的批次图像数量。
clipping_norm	梯度裁剪阈值	5	梯度裁剪的范数。若小于等于0，则不进行梯度裁剪。

此外，学习率和其他模型参数也非常重要。 我们将按照 [ training_images / batch_num ] 步骤进行每个epoch的训练。初始学习率设为 initial_lr。经过 [lr_decay_epoch] 个epoch后，学习率将按 lr_decay 的比例衰减。当当前学习率低于 end_lr 时，训练即告结束。

通常可以通过调整 training_images 和 lr_decay_epoch 来控制训练的迭代次数。更多参数请参考 arg.py 文件。

数据增强

为了获得更好的性能，数据增强是必不可少的。你可以使用 augmentation.py 脚本来构建增强后的数据集。其中，参数 augment_level = 4 表示将添加左右翻转、上下翻转以及同时左右和上下翻转的图像，从而使数据集扩大4倍。此时会生成名为 yang91_4 的增强数据集目录。

为了得到更好的模型，你应该使用更大的训练数据，比如 (BSD200 + Yang91) 经过8种方式增强后的数据集。

# 为yang91数据集构建4倍增强数据集（仅添加翻转图像）
python3 augmentation.py --dataset=yang91 --augment_level=4

# 为yang91数据集构建8倍增强数据集（添加翻转和旋转图像）
python3 augmentation.py --dataset=yang91 --augment_level=8

# 使用增强后的数据进行训练
python3 train.py --dataset=yang91_4

如何计算 PSNR / SSIM

将 RGB 图像转换为 YCbCr 图像，然后仅对 Y 通道进行训练和应用。

对于 PSNR，默认情况下，会从结果图像和原始图像的每条边沿裁剪掉 ‘scale’ 像素，四舍五入取整后，再计算 PSNR 和 SSIM。 我使用的是 scikit-image 中的 SSIM 指标计算流程。参数如下：（win_size=11, gaussian_weights=True, multichannel=True, K1=0.01, K2=0.03, sigma=1.5, data_range=255） (2018年9月16日 修改)

可视化

在训练过程中，TensorBoard 日志会保存在 tf_log 目录下。

您可以在 TensorBoard 中查看训练过程中测试 PSNR 的变化趋势。此外，所有权重、偏置以及梯度的均值、标准差和直方图也会被记录到 TensorBoard 中。

DCSCN 超分辨率快速上手指南

DCSCN (Deep CNN with Skip Connection and Network in Network) 是一个基于深度学习的单图像超分辨率 (SISR) 模型。它以轻量级结构实现了快速且准确的图像放大，支持多种先进特性（如 Pixel Shuffler、自集成等）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: >= 3.5 (推荐 3.6+)
• 核心依赖:
  • TensorFlow >= 2.0.0
  • SciPy
  • NumPy
  • Pillow
  • ImageIO
  • Scikit-image

国内加速建议： 安装 Python 依赖时，建议使用清华或阿里镜像源以加快下载速度：

pip install tensorflow scipy numpy pillow imageio scikit-image -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码 从 GitHub 获取最新源码：

   git clone https://github.com/jiny2001/dcscn-super-resolution.git
   cd dcscn-super-resolution
   

2. 验证依赖 确保上述 pip install 命令执行成功。本项目主要依赖纯 Python 库和 TensorFlow，无需额外编译 C++ 扩展。

基本使用

本部分介绍如何使用预训练模型对单张图片进行超分辨率处理。

1. 准备图片

将您需要处理的低分辨率图片（例如 input.jpg 或 input.png）放置在项目根目录下。

2. 执行超分辨率

运行 sr.py 脚本。默认情况下，脚本会加载与默认参数匹配的预训练权重。

最简单的使用示例（默认模型）：

python3 sr.py --file=input.jpg

执行成功后，高清结果图将生成在 output 目录中。

使用小型模型（适合 CPU 或快速测试）： 如果您的设备性能有限，可以使用层数更少、滤波器更少的轻量级模型：

python3 sr.py --file=input.jpg --layers=8 --filters=96

3. 查看结果

处理完成后，进入 output 文件夹即可查看放大后的高清图片。

注意：如果您后续打算自己训练模型，在使用 sr.py 或 evaluate.py 时，必须传入与训练时完全一致的参数（如 --layers, --filters, --scale 等），以便正确加载对应的 .ckpt 权重文件。