关于 PyTorch 1.2.0

• 现在主分支默认支持 PyTorch 1.2.0。
• 由于严重的版本问题（尤其是 torch.utils.data.dataloader），MDSR 功能暂时禁用。如果您必须训练/评估 MDSR 模型，请使用旧版分支。

EDSR-PyTorch

关于 PyTorch 1.1.0

• 1.1.0 更新带来了一些细微变化。现在我们默认支持 PyTorch 1.1.0，如果您更倾向于使用旧版本，请使用旧版分支。

本仓库是论文 “用于单幅图像超分辨率的增强深度残差网络” 的官方 PyTorch 实现，该论文发表于 CVPRW 2017, 第二届 NTIRE。 您可以在 这里 找到原始代码及更多信息。

如果您在研究或出版物中使用了我们的工作，请引用如下：

[1] Bee Lim, Sanghyun Son, Heewon Kim, Seungjun Nah, 和 Kyoung Mu Lee, “用于单幅图像超分辨率的增强深度残差网络”， 第二届 NTIRE：图像修复与增强新趋势研讨会暨与 CVPR 2017 联合举办的图像超分辨率挑战赛。 [PDF] [arXiv] [幻灯片]

@InProceedings{Lim_2017_CVPR_Workshops,
  author = {Lim, Bee and Son, Sanghyun and Kim, Heewon and Nah, Seungjun and Lee, Kyoung Mu},
  title = {Enhanced Deep Residual Networks for Single Image Super-Resolution},
  booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
  month = {July},
  year = {2017}
}

我们提供了用于复现论文中所有结果的脚本。您可以从头开始训练模型，也可以使用预训练模型来放大您的图像。

Torch 版本之间的差异

• 代码更加简洁。（移除了所有不必要的部分。）
• 模型体积更小。（大约缩小了一半。）
• 性能略有提升。
• 训练和评估所需内存更少。
• 基于 Python。

依赖项

• Python 3.6
• PyTorch >= 1.0.0
• numpy
• skimage
• imageio
• matplotlib
• tqdm
• cv2 >= 3.xx（仅当您希望使用视频输入/输出时）

代码

将此仓库克隆到您希望的任何位置。

git clone https://github.com/thstkdgus35/EDSR-PyTorch
cd EDSR-PyTorch

快速入门（演示）

您可以用自己的图像测试我们的超分辨率算法。请将图像放入 test 文件夹中。（例如 test/<your_image>）我们支持 png 和 jpeg 文件。

运行 src 文件夹中的脚本。在运行演示之前，请取消注释 demo.sh 中您想要执行的相应行。

cd src       # 您现在位于 */EDSR-PyTorch/src
sh demo.sh

您可以在 experiment/test/results 文件夹中找到结果图像。

模型	缩放倍数	文件名 (.pt)	参数量	**PSNR
EDSR	2	EDSR_baseline_x2	1.37 M	34.61 dB
		*EDSR_x2	40.7 M	35.03 dB
	3	EDSR_baseline_x3	1.55 M	30.92 dB
		*EDSR_x3	43.7 M	31.26 dB
	4	EDSR_baseline_x4	1.52 M	28.95 dB
		*EDSR_x4	43.1 M	29.25 dB
MDSR	2	MDSR_baseline	3.23 M	34.63 dB
		*MDSR	7.95 M	34.92 dB
	3	MDSR_baseline		30.94 dB
		*MDSR		31.22 dB
	4	MDSR_baseline		28.97 dB
		*MDSR		29.24 dB

• 基线模型位于 experiment/model。请从 这里 下载我们的最终模型（542MB）。 ** 我们使用 DIV2K 0801 ~ 0900 数据集、RGB 通道，并且未采用自集成方法来测量 PSNR。（图像边界处会忽略缩放倍数 + 2 像素的部分。）

您可以通过广泛使用的基准数据集来评估您的模型：

Set5 - Bevilacqua 等人 BMVC 2012,

Set14 - Zeyde 等人 LNCS 2010,

B100 - Martin 等人 ICCV 2001,

Urban100 - Huang 等人 CVPR 2015。

对于这些数据集，我们首先将结果图像转换为 YCbCr 颜色空间，并仅在 Y 通道上评估 PSNR。您可以下载 基准数据集（250MB）。设置 --dir_data <where_benchmark_folder_located> 即可使用这些基准数据集评估 EDSR 和 MDSR。

您还可以从 这里 下载一些结果。 该链接包含 EDSR+_baseline_x4 和 EDSR+_x4。 此外，您也可以通过 demo.sh 脚本轻松生成结果图像。

如何训练 EDSR 和 MDSR

我们使用 DIV2K 数据集来训练我们的模型。请从 这里 下载（7.1GB）。

将 tar 文件解压到您希望的任何位置。然后，在 src/option.py 中将 dir_data 参数修改为 DIV2K 图像所在的路径。

我们建议您在训练之前对图像进行预处理。此步骤会解码所有 png 文件并将其保存为二进制文件。首次运行时，请使用 --ext sep_reset 参数。如果您想跳过解码步骤并直接使用已保存的二进制文件，可以使用 --ext sep 参数。

如果您有足够的内存（>= 32GB），可以使用 --ext bin 参数将所有 DIV2K 图像打包成一个二进制文件。

您可以自行训练 EDSR 和 MDSR。所有脚本都包含在 src/demo.sh 中。请注意，EDSR（x3、x4）需要预先训练好的 EDSR（x2）。您可以通过移除 --pre_train <x2 模型> 参数来忽略此限制。

cd src       # 现在您位于 */EDSR-PyTorch/src
sh demo.sh

更新日志

• 2018年1月4日

  • 许多部分被重写。您无法直接使用之前的脚本和模型。
  • 预训练的 MDSR 暂时禁用。
  • 包含了训练细节。

• 2018年1月9日

  • 补充了缺失的文件（src/data/MyImage.py）。
  • 修复了一些链接。

• 2018年1月16日

  • 实现了内存高效的前向传播函数。
  • 在您的脚本中添加 --chop_forward 参数以启用该功能。
  • 基本上，该函数会先将大图像分割成小块，超分辨率处理后再将这些小块拼接起来。我曾在 12GB 内存下测试过该功能，输入分辨率为 4000 x 2000，放大倍率为 4。（因此，输出将是 16000 x 8000。）

• 2018年2月21日

  • 修复了加载预训练多 GPU 模型时的问题。
  • 添加了预训练的缩放因子为 2 的基准模型。
  • 此代码现在默认只保存表现最好的模型。对于 MDSR 而言，“最好”可能有些模糊。请使用 --save_models 参数来保留所有中间模型。
  • PyTorch 0.3.1 更改了 DataLoader 函数的实现方式。因此，我也更改了自己的 MSDataLoader 实现。您可以在 feature/dataloader 分支中找到它。

• 2018年2月23日

  • 现在默认使用 PyTorch 0.3.1。如果您使用旧版本，请使用 legacy/0.3.0 分支。

  • 通过新的 src/data/DIV2K.py 代码，用户可以轻松创建用于超分辨率的新数据类。

  • 新的二进制数据包。（如果您已有 DIV2K_decoded 文件夹，请将其删除。）

  • 使用 --ext bin 参数后，代码会自动生成并保存与之前 DIV2K_decoded 对应的二进制数据包。（这需要大量内存（约 45GB，可使用交换空间），请务必小心。）

  • 如果无法生成二进制包，请使用默认设置（--ext img）。

  • 修复了一个错误：日志中的 PSNR 与从保存图像计算出的 PSNR 不一致。

  • 现在保存的图像质量更好！（PSNR 比原始代码高约 0.1dB。）

  • 添加了 Torch7 模型与 PyTorch 模型之间的性能对比。

• 2018年3月5日

  • 所有基准模型均已上传。
  • 现在支持测试时的半精度计算。使用 --precision half 参数即可启用。这不会降低输出图像的质量。

• 2018年3月11日

  • 修复了代码和脚本中的部分错别字。
  • 现在默认设置为 --ext img。虽然我们建议您在训练时使用 --ext bin，但在仅进行测试时请使用 --ext img。
  • 实现了 skip_batch 功能。使用 --skip_threshold 参数可以跳过您想要忽略的批次。尽管此功能与 Torch7 版本并不完全相同，但它仍能按预期工作。

• 2018年3月20日

  • 使用 --ext sep-reset 可以预先解码大型 png 文件。这些解码后的文件将保存在与 DIV2K png 文件相同的目录中。首次运行后，您可以使用 --ext sep 来节省时间。
  • 现在支持多种基准数据集。例如，尝试使用 --data_test Set5 来在 Set5 图像上测试您的模型。
  • 改变了 skip_batch 的行为。

• 2018年3月29日

  • 我们现在提供了论文中所有的模型。
  • 同时提供 MDSR_baseline_jpeg 模型，该模型可以抑制原始低分辨率图像中的 JPEG 码块效应。如果您遇到相关问题，可以使用该模型。
  • MyImage 数据集已更改为 Demo 数据集，并且运行效率比以前更高。
  • 部分代码和脚本被重写。

• 2018年4月9日

  • 基于 SRGAN 实现了 VGG 和对抗损失。WGAN 和 梯度惩罚 也已实现，但尚未经过测试。
  • 多个代码模块被重构。如果发现任何错误，请及时报告。
  • 实现了 D-DBPN。默认设置为 D-DBPN-L。

• 2018年4月26日

  • 兼容 PyTorch 0.4.0。
  • 如果您仍在使用旧版本的 PyTorch，请使用 legacy/0.3.1 分支。
  • 进行了少量错误修复。

• 2018年7月22日

  • 感谢最近的提交，其中包含了 RDN 和 RCAN。请参阅 code/demo.sh 以训练和测试这些模型。
  • 现在的数据加载器比以前更加稳定。请删除在此提交之前创建的 DIV2K/bin 文件夹。同时，请避免使用 --ext bin 参数。我们的代码会在训练前自动解码 png 图像。如果您磁盘空间不足（约 10GB），我们建议使用 --ext img（但速度较慢）。

• 2018年10月18日

  • 使用 --pre_train download 参数，预训练模型将自动从服务器下载。
  • 支持视频输入/输出（仅推理）。尝试使用 --data_test video --dir_demo [视频文件目录]。

• 关于 PyTorch 1.0.0

  • 我们支持 PyTorch 1.0.0。如果您更喜欢旧版本的 PyTorch，请使用旧分支。
  • 不再支持 --ext bin 参数。请使用 --ext sep-reset 删除现有的二进制文件。成功构建二进制文件后，您可以移除参数中的 -reset。

EDSR-PyTorch 快速上手指南

EDSR (Enhanced Deep Residual Networks) 是 CVPRW 2017 提出的单图像超分辨率经典模型。本仓库提供了该论文的官方 PyTorch 实现，支持从预训练模型直接放大图片，也支持从头训练。

1. 环境准备

系统要求

• Python: 3.6+
• PyTorch: >= 1.0.0 (默认分支支持 PyTorch 1.2.0+)
• GPU: 推荐 NVIDIA GPU 以加速训练和推理（可选，但强烈推荐）

依赖安装

请确保已安装以下 Python 库。建议使用 pip 并配置国内镜像源（如清华源）以加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision numpy scikit-image imageio matplotlib tqdm opencv-python

注意：cv2 (opencv-python) 仅在需要处理视频输入/输出时才必须安装。

2. 安装步骤

克隆仓库并进入项目目录：

git clone https://github.com/thstkdgus35/EDSR-PyTorch
cd EDSR-PyTorch

本项目无需额外的 setup.py 安装步骤，代码直接在 src 目录下运行。

获取预训练模型

为了直接测试效果，你需要下载预训练模型。

• 手动下载：访问 模型下载地址 (542MB)，解压后将文件放入 experiment/model 目录。
• 自动下载：在运行脚本时添加 --pre_train download 参数，程序会自动从服务器下载。

3. 基本使用 (Demo)

最简单的用法是使用预训练模型对本地图片进行超分辨率放大。

步骤 1: 准备图片

将你需要放大的图片（支持 .png 或 .jpeg 格式）放入项目根目录下的 test 文件夹中。 例如：EDSR-PyTorch/test/my_image.png

步骤 2: 配置脚本

进入 src 目录，编辑 demo.sh 文件。

cd src

找到你希望执行的命令行（通常对应不同的缩放倍数，如 x2, x3, x4），取消该行前面的注释符号 (#)。确保其他不需要的行保持注释状态。

示例 demo.sh 内容（启用 x4 放大）：

# python main.py --data_test Demo --scale 4 --pre_train download --test_only --save_results
python main.py --data_test Demo --scale 4 --pre_train download --test_only --save_results

步骤 3: 运行推理

执行脚本：

sh demo.sh

步骤 4: 查看结果

处理完成后，生成的超分辨率图片将保存在以下目录： experiment/test/results

---

进阶提示：显存优化

如果你在处理高分辨率图片时遇到显存不足（OOM）问题，可以在命令中添加 --chop_forward 参数。该功能会将大图切分为小块分别处理后再合并，显著降低显存占用：

python main.py --data_test Demo --scale 4 --pre_train download --test_only --save_results --chop_forward