深度图像类比

本仓库的主要贡献者包括微软研究院的廖晶、姚远、袁璐、华刚以及康圣炳。

简介

深度图像类比是一种在两张输入图像之间寻找语义上有意义的密集对应关系的技术。它利用从深度卷积神经网络中提取的特征来实现图像类比的概念。

深度图像类比最初在一篇 SIGGRAPH 2017 论文 中被描述。

免责声明

这是 深度图像类比 的官方 C++ 结合 CUDA 实现。需要注意的是：

• 我们的代码基于 Caffe。
• 我们的代码仅在 Windows 10 和 Windows Server 2012 R2 上，并使用 CUDA 8 或 7.5 进行过测试。
• 我们的代码仅在以下几款 Nvidia GPU 上进行过测试：Titan X、Titan Z、K40、GTX770。
• 输入图像的尺寸有限，如果参数 ratio 设置为 1.0，通常不应超过 700x500 像素。

许可证

© 微软，2017。根据 MIT 许可证授权。

引用

如果您发现 深度图像类比（包括深度 patchmatch）对您的研究有所帮助，请考虑引用以下文献：

@article{Liao:2017:VAT:3072959.3073683,
 author = {Liao, Jing and Yao, Yuan and Yuan, Lu and Hua, Gang and Kang, Sing Bing},
 title = {Visual Attribute Transfer Through Deep Image Analogy},
 journal = {ACM Trans. Graph.},
 issue_date = {July 2017},
 volume = {36},
 number = {4},
 month = jul,
 year = {2017},
 issn = {0730-0301},
 pages = {120:1--120:15},
 articleno = {120},
 numpages = {15},
 url = {http://doi.acm.org/10.1145/3072959.3073683},
 doi = {10.1145/3072959.3073683},
 acmid = {3073683},
 publisher = {ACM},
 address = {New York, NY, USA},
 keywords = {deep matching, image analogy, transfer},
} 

应用

照片到风格

我们代码的一个主要应用是将一幅画作的风格迁移到照片上。

风格到风格

它也可以在两幅艺术作品之间交换风格。

风格到照片

最具挑战性的应用是将草图或绘画转换为照片。

照片到照片

它还可以在两张照片之间进行颜色迁移，例如生成延时摄影效果。

快速入门

前提条件

• Windows 7/8/10（对于 Linux 或 macOS 用户，请查看 linux 分支。）
• CUDA 8 或 7.5
• Visual Studio 2013

构建

• 首先构建 Caffe。请按照此处的教程操作：Microsoft Caffe。
• 编辑 windows/deep_image_analogy 下的 deep_image_analogy.vcxproj 文件，确保其中的 CUDA 版本与您系统中的版本一致。
• 打开解决方案 Caffe 并添加 deep_image_analogy 项目。
• 构建 deep_image_analogy 项目。

下载模型

在运行演示之前，您需要下载 VGG-19 模型。请前往 windows/deep_image_analogy/models/vgg19/ 文件夹并下载：

• http://www.robots.ox.ac.uk/~vgg/software/very_deep/caffe/VGG_ILSVRC_19_layers.caffemodel

演示

打开 windows/deep_image_analogy/source/ 中的 main.cpp 文件，查看如何运行演示。您需要设置论文中提到的几个参数。具体来说，您需要设置：

• path_model，即 VGG-19 模型所在的路径。
• path_A，输入图像 A。
• path_BP，输入图像 BP。
• path_output，输出路径。
• GPU Number，您希望用于本次实验的 GPU ID。
• Ratio，在将输入送入网络之前调整其大小的比例。
• Blend Weight，混合过程中的权重级别。
• WLS 滤波器标志，如果您尝试进行照片风格迁移，建议将其打开，以保持原始照片的结构。

直接运行

我们还在 windows/deep_image_analogy/exe/ 文件夹中提供了一个预编译的可执行文件，您可以随时尝试。

要运行此 deep_image_analogy.exe，您需要编写如下命令行：

deep_image_analogy.exe ../models/ ../demo/content.png ../demo/style.png ../demo/output/ 0 0.5 2 0

其含义如下：

• path_model=../models/
• path_A=../demo/content.png
• path_BP=../demo/style.png
• path_output=../demo/output/
• GPU Number=0
• Ratio=0.5
• Blend Weight=2
• WLS 滤波器标志=0（0：禁用 WLS 滤波器；1：启用 WLS 滤波器，仅在照片到照片的情况下需要）

小贴士

• 我们通常测试 600x400 和 448x448 大小的图像。
• 默认情况下，我们将 ratio 设置为 1.0。特别地，在处理人脸（肖像）图像时，我们发现将 ratio 设置为 0.5 通常能得到更好的结果。
• Blend weight 控制最终结果的外观。如果您希望结果更接近原始内容照片，请增加该值；如果您希望结果更忠实于风格，请降低该值。
• 对于四种应用场景，我们的设置大致如下（但并非绝对）：
  • 照片到风格：blend weight=3，ratio=0.5（人脸）或 1.0（其他情况）。
  • 风格到风格：blend weight=3，ratio=1.0。
  • 风格到照片：blend weight=2，ratio=0.5。
  • 照片到照片：blend weight=3，ratio=1.0。

致谢

我们的代码感谢 Eigen、PatchMatch、CudaLBFGS 和 Caffe 的贡献。同时，我们也感谢我们所使用的图像和风格示例的作者，但我们并不拥有这些图片的版权。

Deep Image Analogy 快速上手指南

Deep Image Analogy 是一种利用深度卷积神经网络特征，在两张输入图像之间寻找语义密集对应关系的技术。主要用于风格迁移（如照片转油画、草图转照片）和属性转移。

环境准备

本项目官方实现基于 C++ 和 CUDA，主要支持 Windows 平台（Linux/Mac 用户请参考项目的 linux 分支）。

系统要求

• 操作系统: Windows 7 / 8 / 10 (或 Windows Server 2012 R2)
• GPU: NVIDIA显卡 (已测试型号：Titan X, Titan Z, K40, GTX770 等)
• CUDA: 版本 7.5 或 8.0
• 编译器: Visual Studio 2013

前置依赖

• Caffe: 代码基于 Microsoft 版本的 Caffe (https://github.com/Microsoft/caffe)。
• 输入限制: 建议输入图像分辨率不超过 700x500（当参数 ratio 设为 1.0 时），显存不足时可适当缩小图片。

安装步骤

1. 编译 Caffe

首先需要根据官方教程编译 Caffe 框架：

• 访问 https://github.com/Microsoft/caffe 并按照其教程完成构建。

2. 配置项目

• 打开 windows/deep_image_analogy 目录。
• 编辑 deep_image_analogy.vcxproj 文件，确保其中配置的 CUDA 版本与你本地安装的版本一致（7.5 或 8.0）。

3. 构建项目

• 使用 Visual Studio 打开 Caffe 解决方案。
• 将 deep_image_analogy 项目添加到解决方案中。
• 编译 deep_image_analogy 项目。

4. 下载模型

运行前需下载 VGG-19 预训练模型。

• 进入目录：windows/deep_image_analogy/models/vgg19/
• 下载文件：VGG_ILSVRC_19_layers.caffemodel
• 注：若下载速度慢，请自行搜索国内镜像源获取该 Caffe 模型文件。

基本使用

你可以选择直接运行预编译的可执行文件，无需重新编译即可体验。

命令行运行示例

在 windows/deep_image_analogy/exe/ 目录下，使用以下命令格式运行：

deep_image_analogy.exe ../models/ ../demo/content.png ../demo/style.png ../demo/output/ 0 0.5 2 0

参数详解：

1. ../models/: VGG-19 模型所在路径。
2. ../demo/content.png: 输入图像 A（内容图）。
3. ../demo/style.png: 输入图像 BP（风格图）。
4. ../demo/output/: 输出结果保存路径。
5. 0: GPU ID (指定使用的显卡编号)。
6. 0.5: Ratio (输入图像缩放比例。提示: 人脸肖像建议设为 0.5，其他场景默认为 1.0)。
7. 2: Blend Weight (混合权重。数值越大结果越接近原内容图结构，数值越小越贴近风格图)。
8. 0: WLS Filter 标志 (0: 禁用, 1: 启用)。提示: 进行“照片到照片”的风格迁移时建议设为 1 以保留结构，其他情况通常设为 0。

推荐参数配置参考

针对不同应用场景，推荐的参数组合如下：

应用场景	Blend Weight	Ratio (非人脸)	Ratio (人脸)	WLS Filter
Photo to Style (照片转风格)	3	1.0	0.5	0
Style to Style (风格互换)	3	1.0	1.0	0
Style to Photo (风格/草图转照片)	2	0.5	0.5	0
Photo to Photo (照片间色彩迁移)	3	1.0	1.0	1

注意：输入图像尺寸建议在 600x400 或 448x448 左右以获得最佳效果与速度平衡。