深度示例驱动的彩色化

这是由何明明*、陈东东*（Dongdong Chen）、廖静（Jing Liao）、佩德罗·V·桑德（Pedro V. Sander）和袁璐（Lu Yuan）在ACM图形学汇刊（SIGGRAPH 2018）上发表的论文深度示例驱动的彩色化的实现。（*表示共同第一作者）

简介

深度示例驱动的彩色化是首个基于示例的局部彩色化深度学习方法。给定一张参考彩色图像，我们的卷积神经网络可以直接将灰度图像映射为输出的彩色图像。

所提出的网络由两个子网络组成：相似性子网络用于计算参考图像与目标图像之间的语义相似性，以及彩色化子网络用于选择、传播并预测目标图像的色度通道。

输入包括一张灰度目标图像、一张彩色参考图像以及双向映射函数。我们默认使用深度图像类比来生成双向映射函数，当然也可以替换为其他稠密对应关系估计算法。

目前颜色参考推荐部分的代码已公开。更多详情请参阅Gray-Image-Retrieval。

更多结果请参阅我们的补充材料。

（更新）如果您希望在Linux上编译，请尝试此仓库：https://github.com/ncianeo/Deep-Exemplar-based-Colorization/tree/linux-docker-cv-caffe-build，感谢[ncianeo](https://github.com/ncianeo)解决了这个[问题](https://github.com/msracver/Deep-Exemplar-based-Colorization/issues/8)。

许可证

© 微软，2017年。根据MIT许可证授权。

快速入门

前提条件

• 相似性子网络：

  • Windows (64位)
  • NVIDIA GPU（CUDA 8.0 & CuDNN 5）
  • Visual Studio 2013

• 彩色化子网络：

  • Pytorch及第三方Python库（OpenCV、scikit-learn和scikit-image）

构建

相似性子网络采用C++结合CUDA实现，需要在Visual Studio中进行编译，具体步骤如下：

• 首先构建Caffe。请按照此处的教程操作：https://github.com/Microsoft/caffe。
• 编辑similarity_subnet\windows\similarity_combo\下的similarity_combo.vcxproj文件，确保其中的CUDA版本与您的环境匹配。
• 打开Caffe解决方案，并添加similarity_combo.vcxproj。
• 构建similarity_combo项目。
• （可选）如果您使用深度图像类比，请添加similarity_subnet\windows\deep_image_analogy\下的deep_image_analogy.vcxproj并进行编译。

下载模型

运行演示前，您需要下载相关模型。

• 进入demo\models\similarity_subnet\vgg_19_gray_bn\文件夹，下载： https://www.dropbox.com/s/liz78q1lf9bc57s/vgg19_bn_gray_ft_iter_150000.caffemodel?dl=0
• 进入demo\models\colorization_subnet\文件夹，下载： https://www.dropbox.com/s/rg6qi5iz3sj7cnc/example_net.pth?dl=0
• （可选）如果您使用深度图像类比，请进入demo\models\deep_image_analogy\vgg19\文件夹，下载： http://www.robots.ox.ac.uk/~vgg/software/very_deep/caffe/VGG_ILSVRC_19_layers.caffemodel

演示

我们在demo\文件夹下准备了一个示例，包含以下内容：

(1) 输入数据文件夹example\分为两部分：

• 一个input\文件夹，内含输入图像（灰度目标图像和彩色参考图像）。
• 一个pairs.txt文件，每行指定一个目标、一个参考图像及一个标志（默认为1），例如：

  in1.jpg ref1.jpg 1
  in2.jpg ref2.jpg 1
  ...
  

(2) 可执行脚本run.bat包含三条命令：

• （可选）使用深度图像类比生成双向映射函数的命令：

  deep_image_analogy.exe [MODEL_DIR] [INPUT_ROOT_DIR] [START_LINE_ID] [END_LINE_ID] [GPU_ID]
  例如：exe\deep_image_analogy.exe models\deep_image_analogy\ example\ 0 2 0
  

  （注意：如果您使用其他算法生成双向映射函数，请参照深度图像类比的格式生成流场文件，并将其放置在example\flow\文件夹中。）

• 用于生成彩色化用相似性图的命令（相似性子网络）：

  similarity_combo.exe [MODEL_DIR] [INPUT_ROOT_DIR] [START_LINE_ID] [END_LINE_ID] [GPU_ID]
  例如：exe\similarity_combo.exe models\similarity_subnet\ example\ 0 2 0
  

• 使用预训练模型进行彩色化的命令（彩色化子网络）：

  python test.py --short_size [SHORT_EDGE_SIZE] --test_model [MODEL_FILE] --data_root [INPUT_ROOT_DIR] --out_dir [OUTPUT_DIR] --gpu_id [GPU_ID]
  例如：python ..\colorization_subnet\test.py --short_size 256 --test_model models\colorization_subnet\example_net.pth --data_root example\ --out_dir example\res\ --gpu_id 0
  

运行

我们在demo\exe\文件夹中提供了预编译好的可执行文件，请直接尝试运行。

小贴士

为了降低深度图像类比计算双向映射函数的成本，我们的测试输入图像被调整为w x h尺寸（min(w, h)=256）。不过，我们也支持更高分辨率的输入图像。

引用

如果您认为深度示例驱动的彩色化对您的研究有所帮助，请考虑引用以下文献：

@article{he2018deep,
  title={Deep exemplar-based colorization},
  author={He, Mingming and Chen, Dongdong and Liao, Jing and Sander, Pedro V and Yuan, Lu},
  journal={ACM Transactions on Graphics (TOG)},
  volume={37},
  number={4},
  pages={47},
  year={2018},
  publisher={ACM}
}

Deep-Exemplar-based-Colorization 快速上手指南

Deep Exemplar-based Colorization 是一种基于深度学习的示例图像上色方法。给定一张灰度目标图和一张彩色参考图，该工具能利用卷积神经网络直接生成上色后的图像。

1. 环境准备

本项目包含两个子网络，分别需要不同的运行环境：

系统要求

• 操作系统: Windows (64-bit)
  • 注：Linux 用户可参考非官方 Docker 版本：https://github.com/ncianeo/Deep-Exemplar-based-Colorization/tree/linux-docker-cv-caffe-build
• 硬件: NVIDIA GPU (支持 CUDA 8.0 & CuDNN 5)
• 编译器: Visual Studio 2013 (用于构建 C++ 部分)

软件依赖

• Similarity Sub-net (相似度子网):
  • Caffe (需自行编译，推荐微软版本：https://github.com/Microsoft/caffe)
  • CUDA 8.0 & CuDNN 5
• Colorization Sub-net (上色子网):
  • PyTorch
  • Python 第三方库：opencv-python, scikit-learn, scikit-image

2. 安装步骤

第一步：构建 Similarity Sub-net

该部分由 C++ 和 CUDA 编写，需在 Visual Studio 中编译。

1. 编译 Caffe: 按照 Microsoft Caffe 教程 完成 Caffe 的编译。
2. 配置项目: 打开 similarity_subnet\windows\similarity_combo\similarity_combo.vcxproj，修改其中的 CUDA 版本号以匹配你本地安装的版本。
3. 添加并编译:
   • 打开 Caffe 解决方案 (Caffe.sln)。
   • 将 similarity_combo.vcxproj 添加到解决方案中。
   • 编译 similarity_combo 项目。
   • (可选) 如果使用默认的 Deep Image Analogy 生成映射函数，请同样添加并编译 similarity_subnet\windows\deep_image_analogy\deep_image_analogy.vcxproj。

第二步：下载模型文件

在运行演示前，必须下载预训练模型并放入指定目录：

1. 相似度子网模型: 下载至 demo\models\similarity_subnet\vgg_19_gray_bn\

   https://www.dropbox.com/s/liz78q1lf9bc57s/vgg19_bn_gray_ft_iter_150000.caffemodel?dl=0
   

2. 上色子网模型: 下载至 demo\models\colorization_subnet\

   https://www.dropbox.com/s/rg6qi5iz3sj7cnc/example_net.pth?dl=0
   

3. (可选) Deep Image Analogy 模型: 若使用默认映射算法，下载至 demo\models\deep_image_analogy\vgg19\

   http://www.robots.ox.ac.uk/~vgg/software/very_deep/caffe/VGG_ILSVRC_19_layers.caffemodel
   

3. 基本使用

准备输入数据

在 demo\example\ 目录下准备数据：

1. 创建 input\ 文件夹，放入灰度目标图（target）和彩色参考图（reference）。
2. 创建 pairs.txt 文件，每行定义一组配对：目标图 参考图 标志位。 示例内容：

   in1.jpg ref1.jpg 1
   in2.jpg ref2.jpg 1
   

执行流程

你可以直接使用 demo\exe\ 下提供的预编译文件，或按顺序执行以下三个步骤：

步骤 1: 生成双向映射函数 (可选)

如果使用默认的 Deep Image Analogy 算法，运行以下命令生成光流文件：

deep_image_analogy.exe models\deep_image_analogy\ example\ 0 2 0

注：若使用其他稠密对应估计算法，请生成符合格式的光流文件并放入 example\flow\ 文件夹，跳过此步。

步骤 2: 生成相似度图 (Similarity Sub-net)

计算参考图与目标图之间的语义相似度：

similarity_combo.exe models\similarity_subnet\ example\ 0 2 0

步骤 3: 执行上色 (Colorization Sub-net)

利用预训练模型进行最终上色：

python ..\colorization_subnet\test.py --short_size 256 --test_model models\colorization_subnet\example_net.pth --data_root example\ --out_dir example\res\ --gpu_id 0

输出结果

上色完成后，结果图片将保存在 example\res\ 目录中。

提示: 默认测试图像会被调整为短边 256 像素以节省计算双向映射函数的时间，但本工具也支持更高分辨率的输入图像。