ESPCN

基于 CVPR 2016 论文的 ESPCN PyTorch 实现
使用高效的亚像素卷积神经网络进行实时单图像和视频超分辨率。

需求

• Anaconda
• PyTorch

conda install pytorch torchvision -c soumith
conda install pytorch torchvision cuda80 -c soumith # 如果已安装 CUDA，请安装此版本

• PyTorchNet

pip install git+https://github.com/pytorch/tnt.git@master

• opencv

conda install opencv

数据集

训练集、验证集

训练集和验证集均采自 VOC2012。
训练集包含 16700 张图像，验证集包含 425 张图像。
请从 这里 下载数据集（提取码：5tzp），
然后解压到 data 目录下。最后运行以下命令：

python data_utils.py

可选参数：
--upscale_factor      超分辨率放大倍数 [默认值为 3]

以生成基于 VOC2012 的训练集和验证集，并指定放大倍数（可选：2、3、4、8）。

测试图像数据集

测试图像数据集来源于以下资源：
| Set 5 | Bevilacqua 等人 BMVC 2012 | Set 14 | Zeyde 等人 LNCS 2010 | BSD 100 | Martin 等 ICCV 2001 | Sun-Hays 80 | Sun 和 Hays ICCP 2012 | Urban 100 | Huang 等 CVPR 2015。 请从 这里 下载图像数据集（提取码：xwhy），
然后解压到 data 目录下。

测试视频数据集

测试视频数据集取自周杰伦的音乐视频。请从 这里 下载视频数据集（提取码：6rad），
解压后放入 data/test/SRF_xx/video 目录中，其中 xx 表示放大倍数。

使用方法

训练

python -m visdom.server & python train.py

可选参数：
--upscale_factor      超分辨率放大倍数 [默认值为 3]
--num_epochs          超分辨率训练轮数 [默认值为 100]

现在可以通过浏览器访问 127.0.0.1:8097 来使用 Visdom，
如果指定了主机地址，则访问该地址即可。

若上述方法无效，请尝试通过 SSH 隧道连接服务器，在本地 ~/.ssh/config 文件中添加以下行： LocalForward 127.0.0.1:8097 127.0.0.1:8097。

在中国境内使用时，可能需要从 这里 下载静态资源（提取码：vhm7），
并将其放置于 ~/anaconda3/lib/python3.6/site-packages/visdom/static/ 目录下。

测试图像

python test_image.py

可选参数：
--upscale_factor      超分辨率放大倍数 [默认值为 3]
--model_name          超分辨率模型名称 [默认值为 epoch_3_100.pt]

生成的高分辨率图像将保存在 results 目录中。

测试视频

python test_video.py

可选参数：
--upscale_factor      超分辨率放大倍数 [默认值为 3]
--is_real_time        是否实时显示超分辨率结果 [默认值为 False]
--delay_time          超分辨率结果延迟显示时间 [默认值为 1 秒]
--model_name          超分辨率模型名称 [默认值为 epoch_3_100.pt]

生成的高分辨率视频将保存在 results 目录下。

基准测试

在第30至80轮之间使用了带有学习率调度的Adam优化器。

放大倍数 = 2

在NVIDIA GeForce TITAN X显卡上，批次大小为64时，每轮训练大约需要1分钟。

损失/PSNR曲线图

图像结果

左侧为低分辨率图像，中间为高分辨率图像，右侧为超分辨率图像（ESPCN的输出）。

• Set5

• Set14

• BSD100

• Urban100

视频结果

右侧为低分辨率视频，左侧为超分辨率视频（ESPCN的输出）。点击图片观看完整视频。

放大倍数 = 3

在NVIDIA GeForce TITAN X显卡上，批次大小为64时，每轮训练大约需要30秒。

损失/PSNR曲线图

图像结果

左侧为低分辨率图像，中间为高分辨率图像，右侧为超分辨率图像（ESPCN的输出）。

• Set5

• Set14

• BSD100

视频结果

右侧为低分辨率视频，左侧为超分辨率视频（ESPCN的输出）。点击图片观看完整视频。

放大倍数 = 4

在NVIDIA GeForce GTX 1070显卡上，批次大小为64时，每轮训练大约需要20秒。

损失/PSNR曲线图

图像结果

左侧为低分辨率图像，中间为高分辨率图像，右侧为超分辨率图像（ESPCN的输出）。

• Set5

• Set14

• BSD100

• Urban100

视频结果

右侧为低分辨率视频，左侧为超分辨率视频（ESPCN的输出）。点击图片观看完整视频。

放大倍数 = 8

在NVIDIA GeForce GTX 1070显卡上，批次大小为64时，每轮训练大约需要15秒。

损失/PSNR曲线图

图像结果

左侧为低分辨率图像，中间为高分辨率图像，右侧为超分辨率图像（ESPCN的输出）。

• SunHays80

视频结果

左侧为低分辨率视频，右侧为超分辨率视频（ESPCN的输出）。点击图片观看完整视频。

完整的测试图像结果可从这里下载（提取码：nkh9），完整的测试视频结果可从这里下载（提取码：1dus）。

ESPCN 快速上手指南

ESPCN (Efficient Sub-Pixel Convolutional Neural Network) 是一个基于 PyTorch 实现的实时单图像和视频超分辨率工具，源自 CVPR 2016 论文。本指南将帮助你快速搭建环境并运行模型。

1. 环境准备

在开始之前，请确保你的系统已安装 Anaconda。本项目依赖以下核心库：

• PyTorch & torchvision
• PyTorchNet (tnt)
• OpenCV

硬件建议：推荐使用 NVIDIA GPU 以加速训练和推理（原文测试环境为 TITAN X 或 GTX 1070）。

2. 安装步骤

2.1 创建环境并安装基础依赖

使用 Conda 安装 PyTorch 和 OpenCV。国内用户若连接官方源较慢，可配置清华或中科大镜像源。

# 安装 PyTorch 和 torchvision (CPU 版本)
conda install pytorch torchvision -c soumith

# 如果已安装 CUDA，请使用以下命令安装 GPU 版本 (示例为 cuda80，请根据实际版本调整)
# conda install pytorch torchvision cuda80 -c soumith

# 安装 OpenCV
conda install opencv

2.2 安装 PyTorchNet

通过 pip 从 GitHub 安装 tnt 库：

pip install git+https://github.com/pytorch/tnt.git@master

2.3 准备数据集

项目需要训练集、验证集和测试集。由于原始链接为百度网盘，非常适合国内开发者。

1. 训练/验证集 (VOC2012):

   • 下载地址：百度网盘 (提取码：5tzp)
   • 操作：解压到项目根目录下的 data 文件夹。
   • 预处理：运行以下脚本生成指定倍率的训练数据（默认倍率为 3，可选 2, 3, 4, 8）：

     python data_utils.py --upscale_factor 3
     

2. 测试图像集 (Set5, Set14, BSD100 等):

   • 下载地址：百度网盘 (提取码：xwhy)
   • 操作：解压到 data 文件夹。

3. 测试视频集:

   • 下载地址：百度网盘 (提取码：6rad)
   • 操作：解压到 data/test/SRF_xx/video 目录，其中 xx 代表放大倍率（如 SRF_3）。

注意：如果你在中国大陆且遇到 Visdom 静态资源加载失败的问题，可下载备用资源 百度网盘 (提取码：vhm7)，并将其放入 ~/anaconda3/lib/python3.6/site-packages/visdom/static/ 目录下。

3. 基本使用

3.1 训练模型

启动 Visdom 服务器用于监控训练过程，然后开始训练。

# 后台启动 Visdom 服务
python -m visdom.server & 

# 开始训练 (默认放大倍率 3，训练 100 个 epoch)
python train.py --upscale_factor 3 --num_epochs 100

• 监控面板：打开浏览器访问 http://127.0.0.1:8097 查看 Loss 和 PSNR 曲线。
• 远程访问：若在远程服务器训练，可在本地 ~/.ssh/config 添加 LocalForward 127.0.0.1:8097 127.0.0.1:8097 进行端口转发。

3.2 图像超分辨率测试

使用训练好的模型对低分辨率图像进行重建。

python test_image.py --upscale_factor 3 --model_name epoch_3_100.pt

• 输出结果：生成的高清图片将保存在 results 目录中。

3.3 视频超分辨率测试

对视频文件进行实时或非实时的超分辨率处理。

python test_video.py --upscale_factor 3 --model_name epoch_3_100.pt --is_real_time False

• 参数说明：
  • --is_real_time: 是否实时显示结果 (True/False)。
  • --delay_time: 实时模式下的延迟时间。
• 输出结果：生成的高清视频将保存在 results 目录中。