深度照片增强器：基于GAN的无配对学习用于从照片中进行图像增强

[演示网站] [YouTube] [论文] [补充材料] [下载演示视频]

[亮点报告视频] [亮点报告PDF] [海报]

这是CVPR 2018亮点论文《深度照片增强器：基于GAN的无配对学习用于从照片中进行图像增强》的TensorFlow实现。如果您使用了我们工作中的任何代码或数据，请引用我们的论文。

[更新 2019年6月5日] 重命名模型脚本

我在下面的下载链接中添加了rename_model.py。

[更新 2019年3月31日] 推理模型（有监督和无监督）。

下载链接：这里。代码与我在演示网站中使用的完全相同。（抱歉，我没有时间对其进行优化……） 简化教程：在TF.py中使用getInputPhoto和processImg函数。

[更新 2018年12月18日] 数据和代码（有监督和无监督）。

太多人要求我发布代码，尽管代码并不完善且像我一样“丑陋”。因此，我将我的“丑陋”代码和数据放在了这里。我还提供了有监督的代码。代码中有很多不必要的部分。我会尽快重构代码。关于数据，我们将所用图片的名称标注在了MIT-Adobe FiveK数据集上。我直接使用Lightroom将图片解码为TIF格式，并调整图片长边至512分辨率（标签图来自修图师C）。我不确定是否有权公开我们从Flickr收集的HDR数据集，因此只提供了这些图片的ID。您可以根据ID下载这些图片。（代码是在TensorFlow 0.12版本上运行的。代码中的A-WGAN部分并未实施降低lambda值的操作，因为当时的初始lambda值已经相对较小。）

一些有用的问题：#6, #16, #18, #24, #27, #38, #39

结果

方法	描述
标签	由MIT-Adobe 5K数据集的摄影师修图而成 [1]
我们（HDR）	我们基于无配对数据训练的HDR模型
我们（SL）	我们基于MIT-Adobe 5K数据集的配对数据训练的模型（有监督学习）
我们（UL）	我们基于MIT-Adobe 5K数据集的无配对数据训练的模型
CycleGAN（HDR）	CycleGAN基于我们的HDR数据集训练的无配对模型 [2]
DPED_device	DPED基于特定设备的配对数据训练的模型（有监督学习） [3]
CLHE	来自[4]的启发式方法
NPEA	来自[5]的启发式方法
FLLF	来自[6]的启发式方法

输入	标签	我们的（HDR）
我们的（SL）	我们的（UL）	CycleGAN（HDR）
DPED_iPhone6	DPED_iPhone7	DPED_Nexus5x
CLHE	NPEA	FLLF

输入（MIT-Adobe）	我们的（HDR）	DPED_iPhone7	CLHE
输入（互联网）	我们的（HDR）	DPED_iPhone7	CLHE

用户研究

偏好矩阵 (20名参与者和20张图像，采用成对比较法)
	CycleGAN	DPED	NPEA	CLHE	我们的方法	总计
CycleGAN	-	32	27	23	11	93
DPED	368	-	141	119	29	657
NPEA	373	259	-	142	50	824
CLHE	377	281	258	-	77	993
我们的方法	389	371	350	323	-	1433
我们在HDR图像上训练的模型排名第一，CLHE位居第二。在将我们的模型与CLHE进行比较时，81%的用户（400人中有323人）更倾向于我们的结果。

全局U-Net、A-WGAN和iBN的其他应用

本文提出了三项改进：全局U-Net、自适应WGAN（A-WGAN）和个体批归一化（iBN）。这些改进通常能够提升效果；对于某些应用而言，改进幅度足以跨越门槛并取得成功。我们已将这些技术应用于其他一些场景。

输入	真实标签	全局U-Net	U-Net
对于全局U-Net，我们将其应用于牛津-IIIT宠物数据集上的宠物三元图分割任务。U-Net和全局U-Net的准确率分别为0.8759和0.8905。

	λ = 0.1	λ = 10	λ = 1000
WGAN-GP
A-WGAN
在不同的λ值下，WGAN-GP的表现可能成功也可能失败。而提出的A-WGAN对λ的依赖性较低，在三个λ值下均取得了成功。

男性 -> 女性			女性 -> 男性
输入	使用iBN	不使用iBN	输入	使用iBN	不使用iBN
我们将双向GAN应用于人脸图像的性别转换任务。如图所示，双向GAN在此任务中未能成功，但在采用我们提出的iBN后成功实现了目标。

架构

生成器
判别器
单向GAN	双向GAN

出版物

陈宇升、王昱菁、高曼欣 和 庄永裕。

国立台湾大学

深度照片增强器：基于生成对抗网络的无配对摄影图像增强学习。IEEE 国际计算机视觉与模式识别会议 2018 年论文集（CVPR 2018），即将发表，2018 年 6 月，美国盐湖城。

引用格式

@INPROCEEDINGS{Chen:2018:DPE,
	AUTHOR    = {Yu-Sheng Chen and Yu-Ching Wang and Man-Hsin Kao and Yung-Yu Chuang},
	TITLE     = {Deep Photo Enhancer: Unpaired Learning for Image Enhancement from Photographs with GANs},
	YEAR      = {2018},
	MONTH     = {June},
	BOOKTITLE = {Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition (CVPR 2018)},
	PAGES     = {6306--6314},
	LOCATION  = {Salt Lake City},
}

参考文献

1. Bychkovsky, V., Paris, S., Chan, E., Durand, F.: 利用输入/输出图像对数据库学习摄影全局色调调整。载于 2011 年 IEEE 计算机视觉与模式识别会议论文集，第 97–104 页。CVPR'11（2011）
2. Zhu, J. Y., Park, T., Isola, P., Efros, A. A.: 基于循环一致对抗网络的无配对图像到图像转换。载于 2017 年 IEEE 国际计算机视觉会议论文集，第 2242–2251 页。ICCV'17（2017）
3. Ignatov, A., Kobyshev, N., Vanhoey, K., Timofte, R., Van Gool, L.: 使用深度卷积网络在移动设备上实现单反相机质量的照片。载于 2017 年 IEEE 国际计算机视觉会议论文集，第 3277–3285 页。ICCV'17（2017）
4. Wang, S., Cho, W., Jang, J., Abidi, M. A., Paik, J.: 基于对比度的饱和度调整用于户外图像增强。JOSA A，第 2532–2542 页。（2017）
5. Wang, S., Zheng, J., Hu, H. M., Li, B.: 保留自然感的非均匀光照图像增强算法。IEEE 图像处理汇刊，第 3538–3548 页。TIP'13（2013）
6. Aubry, M., Paris, S., Hasinoff, S. W., Kautz, J., Durand, F.: 快速局部拉普拉斯滤波器：理论与应用。ACM 图形学汇刊，第 167 号文章。TOG'14（2014）

联系方式

如有任何问题，欢迎随时联系我（陈宇升 nothinglo@cmlab.csie.ntu.edu.tw）。

Deep-Photo-Enhancer 快速上手指南

Deep-Photo-Enhancer 是一个基于 GAN（生成对抗网络）的图像增强工具，源自 CVPR 2018 Spotlight 论文。它支持无配对学习（Unpaired Learning），能够将普通照片自动优化为具有专业修图师风格的高质量图像。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS (Windows 用户建议使用 WSL 或 Docker)。
• Python: 建议版本 3.6+ (原代码基于较旧环境，但现代 Python 通常兼容)。
• 深度学习框架: TensorFlow 1.12 (注意：原项目明确指出代码在 TensorFlow 0.12 版本运行，但后续更新和社区实践多基于 TF 1.x，推荐使用 TensorFlow 1.12 - 1.15 以获得最佳兼容性。TF 2.x 需使用兼容模式)。
• GPU: 推荐使用 NVIDIA GPU 以加速推理过程（可选，CPU 也可运行但速度较慢）。
• 依赖库: numpy, scipy, Pillow, matplotlib 等常见科学计算库。

提示: 由于原项目依赖较旧的 TensorFlow 版本，建议创建一个独立的虚拟环境以避免冲突。

安装步骤

1. 克隆项目代码

首先从 GitHub 获取源代码：

git clone https://github.com/nothinglo/Deep-Photo-Enhancer.git
cd Deep-Photo-Enhancer

2. 创建虚拟环境并安装依赖

推荐使用 conda 或 venv 隔离环境。以下以 conda 为例安装 TensorFlow 1.12：

# 创建环境
conda create -n dpe python=3.6
conda activate dpe

# 安装 TensorFlow 1.12 (GPU 版本请替换为 tensorflow-gpu==1.12)
pip install tensorflow==1.12.0

# 安装其他必要依赖
pip install numpy scipy Pillow matplotlib

3. 下载预训练模型

根据 README 中的更新信息（2019-03-31），作者提供了用于推理的简化模型（包含监督和无监督版本）。

• 下载地址: Online_Demo_Models_Deep-Photo-Enhancer.zip
  • 注：如果官网下载速度慢，可尝试使用国内下载工具或代理加速。

下载完成后，解压文件并将模型文件夹放置在项目根目录下（具体路径需参考解压后的说明，通常放在 model/ 或与 TF.py 同级目录）。

基本使用

该项目提供了一个简化的推理接口，主要位于 TF.py 文件中。

1. 准备输入图片

将您需要增强的照片放入项目目录，例如命名为 input.jpg。

2. 运行推理脚本

您可以编写一个简单的 Python 脚本来调用核心函数，或者直接在交互式环境中运行。以下是基于 TF.py 中 getInputPhoto 和 processImg 函数的最小使用示例：

import TF
import scipy.misc # 注意：新版 scipy 可能移除了 misc，若报错请改用 imageio 或 PIL 处理

# 配置路径
input_path = 'input.jpg'      # 输入图片路径
model_path = 'path_to_model'  # 下载的预训练模型文件夹路径
output_path = 'output.jpg'    # 输出图片路径

# 加载图片
# getInputPhoto 负责读取并预处理图片
img = TF.getInputPhoto(input_path)

# 执行增强
# processImg 是核心推理函数
# 参数说明：输入图像张量，模型路径，是否使用 HDR 模型等
enhanced_img = TF.processImg(img, model_path, is_hdr=True)

# 保存结果
# 注意：根据 TF 版本不同，保存方式可能需要调整
scipy.misc.imsave(output_path, enhanced_img)

print(f"图像增强完成，已保存至 {output_path}")

关键参数说明：

• is_hdr=True: 使用在 HDR 数据集上训练的无配对模型（推荐用于通用照片增强）。
• is_hdr=False: 使用在 MIT-Adobe 5K 数据集上训练的模型。

3. 查看结果

打开生成的 output.jpg，您将看到经过 AI 增强后的照片，其色彩、对比度和光影效果应更接近专业修图风格。

---

注：由于原代码被作者自述为“未打磨（not polished）”，在实际运行中若遇到路径错误或维度不匹配问题，建议检查 TF.py 中的路径配置并根据报错微调输入输出的形状处理逻辑。