使用深度卷积网络在移动设备上拍摄单反相机质量的照片

1. 概述 [论文] [项目主页] [增强RAW照片] [渲染散景效果]

提供的代码实现了这篇论文，该论文提出了一种端到端的深度学习方法，用于将普通智能手机照片转换为单反相机质量的图像。训练好的模型可以应用于任意分辨率的照片，而这种方法本身也可以推广到任何类型的数码相机。更多可视化结果可以在这里找到。

2. 前置条件

• Python + Pillow、scipy、numpy、imageio 等库
• TensorFlow 1.x / 2.x + CUDA CuDNN
• NVIDIA GPU

3. 初步步骤

• 下载预训练的VGG-19模型，并将其放入vgg_pretrained/文件夹中。
• 下载DPED数据集（用于CNN训练的图像块），并解压到dped/文件夹中。_{该文件夹应包含三个子文件夹：sony/、iphone/和blackberry/。}

4. 训练模型

python train_model.py model=<model>

必填参数：

model: iphone, blackberry 或 sony

可选参数及其默认值：

batch_size: 50   -   批量大小 [较小的值可能导致训练不稳定]
train_size: 30000   -   每隔eval_step次迭代随机加载的训练图像块数量
eval_step: 1000   -   每隔eval_step次迭代保存一次模型，并重新加载训练数据
num_train_iters: 20000   -   训练迭代次数
learning_rate: 5e-4   -   学习率
w_content: 10   -   内容损失的权重
w_color: 0.5   -   颜色损失的权重
w_texture: 1   -   纹理[对抗性]损失的权重
w_tv: 2000   -   总变差损失的权重
dped_dir: dped/   -   DPED数据集所在文件夹的路径
vgg_dir: vgg_pretrained/imagenet-vgg-verydeep-19.mat   -   预训练VGG-19网络的路径

示例：

python train_model.py model=iphone batch_size=50 dped_dir=dped/ w_color=0.7

5. 测试提供的预训练模型

python test_model.py model=<model>

必填参数：

model: iphone_orig, blackberry_orig 或 sony_orig

可选参数：

test_subset: full, small   -   将处理全部29张还是仅5张测试图像
resolution: orig, high, medium, small, tiny   -   测试图像的分辨率 [**orig**表示原始分辨率]
use_gpu: true, false   -   在GPU还是CPU上运行模型
dped_dir: dped/   -   DPED数据集所在文件夹的路径

示例：

python test_model.py model=iphone_orig test_subset=full resolution=orig use_gpu=true

6. 测试获得的模型

python test_model.py model=<model>

必填参数：

model: iphone, blackberry 或 sony

可选参数：

test_subset: full, small   -   将处理全部29张还是仅5张测试图像
iteration: all 或 <number>   -   获取所有迭代的可视化结果，或仅获取特定迭代的结果，
               <number> 必须是eval_step的倍数
resolution: orig, high, medium, small, tiny   -   测试图像的分辨率 [**orig**表示原始分辨率]
use_gpu: true, false   -   在GPU还是CPU上运行模型
dped_dir: dped/   -   DPED数据集所在文件夹的路径

示例：

python test_model.py model=iphone iteration=13000 test_subset=full resolution=orig use_gpu=true

7. 文件夹结构

dped/   -   包含DPED数据集的文件夹
models/   -   训练过程中保存的日志和模型
models_orig/   -   提供的针对**iphone、sony和blackberry**的预训练模型
results/   -   训练时保存的小图像块的可视化结果
vgg-pretrained/   -   包含预训练VGG-19网络的文件夹
visual_results/   -   处理后[增强后的]测试图像

load_dataset.py   -   加载训练数据的Python脚本
models.py   -   图像增强[ResNet]及对抗网络的架构
ssim.py   -   SSIM评分的实现
train_model.py   -   训练过程的实现
test_model.py   -   将预训练模型应用于测试图像
utils.py   -   辅助函数
vgg.py   -   加载预训练VGG-19网络

8. 问题与错误

如果出现“分配形状为[…]的张量时内存不足”的错误怎么办？

   您的GPU显存不足。如果在训练过程中发生这种情况：

• 减小训练批次的大小[batch_size]。但请注意，较小的值可能会导致训练不稳定。

   如果在测试模型时发生这种情况：

• 在CPU上运行模型（将参数use_gpu设置为**false**）。请注意，这可能每张图像需要长达5分钟。
  
• 使用裁剪过的图像，将参数resolution设置为：

high   -   以图像中心为基准，裁剪出 1680x1260 像素的图像
medium   -   以图像中心为基准，裁剪出 1366x1024 像素的图像
small   -   以图像中心为基准，裁剪出 1024x768 像素的图像
tiny   -   以图像中心为基准，裁剪出 800x600 像素的图像

   分辨率越低，处理的图像区域就越小。

9. 引用

@inproceedings{ignatov2017dslr,
  title={利用深度卷积网络在移动设备上实现单反相机质量的照片},
  author={Ignatov, Andrey 和 Kobyshev, Nikolay 和 Timofte, Radu 和 Vanhoey, Kenneth 和 Van Gool, Luc},
  booktitle={IEEE国际计算机视觉会议论文集},
  pages={3277--3285},
  year={2017}
}

10. 还有其他问题吗？

如需更多信息，请联系 Andrey Ignatov（andrey.ignatoff@gmail.com）

DPED 快速上手指南

DPED (Deep Photo Enhancer) 是一个基于深度卷积网络的开源项目，旨在将手机拍摄的普通照片转换为单反相机（DSLR）级别的高质量图像。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS / Windows
• 硬件: NVIDIA GPU (推荐，用于加速训练和推理)
• 软件依赖:
  • Python (建议 3.6+)
  • TensorFlow 1.x 或 2.x
  • CUDA & CuDNN (若使用 GPU)
  • Python 库: Pillow, scipy, numpy, imageio

安装依赖命令：

pip install pillow scipy numpy imageio tensorflow
# 若需 GPU 支持，请根据 NVIDIA 官网指引安装对应版本的 tensorflow-gpu 及 CUDA/CuDNN

安装步骤

1. 获取代码

克隆仓库或下载源码到本地目录。

2. 下载预训练模型与数据集

项目需要 VGG-19 预训练权重和 DPED 数据集才能运行。

• 下载 VGG-19 模型: 下载地址：imagenet-vgg-verydeep-19.mat 存放路径：放入项目根目录下的 vgg_pretrained/ 文件夹中。

• 下载 DPED 数据集: 下载地址：DPED Dataset 存放路径：解压后放入项目根目录下的 dped/ 文件夹。 注意：dped/ 文件夹内应包含三个子文件夹：sony/, iphone/, blackberry/。

基本使用

方式一：直接使用官方预训练模型（推荐新手）

如果您只想快速体验效果，无需重新训练，可直接测试官方提供的模型。

命令示例（处理 iPhone 拍摄的照片）：

python test_model.py model=iphone_orig test_subset=small resolution=orig use_gpu=true

参数说明：

• model: 选择模型类型，可选 iphone_orig, blackberry_orig, sony_orig。
• test_subset: 测试集大小，small (5 张图) 或 full (29 张图)。
• resolution: 图像分辨率，orig 表示原始分辨率。也可选 high, medium, small, tiny 以节省显存。
• use_gpu: 是否使用 GPU，设为 true 或 false。

处理后的增强图片将保存在 visual_results/ 目录中。

方式二：训练自己的模型

如果您希望针对特定设备或数据分布进行微调，可以执行训练脚本。

命令示例（训练 iPhone 模型）：

python train_model.py model=iphone batch_size=50 dped_dir=dped/ w_color=0.7

关键参数：

• model: 必填，指定设备类型 (iphone, blackberry, sony)。
• batch_size: 批次大小，默认 50。若显存不足（出现 OOM 错误），请减小此值。
• num_train_iters: 训练迭代次数，默认 20000。
• eval_step: 每多少次迭代保存一次模型并刷新数据，默认 1000。

训练过程中的日志、保存的模型以及中间结果将分别存储在 models/ 和 results/ 目录中。