交互式深度着色

项目页面 | 论文 | 演示视频 | SIGGRAPH演讲

2020年4月10日更新：@mabdelhack 提供了在 Python 3.6 环境下安装 PyTorch 模型的 Windows 指南。请查看 Windows 分支 获取该指南。

2019年10月3日更新：我们的技术现在也已集成到 Adobe Photoshop Elements 2020 中。更多详情请参阅此 博客 和 视频。

2018年9月3日更新：代码现已支持基于 PyTorch 的后端模型（需 PyTorch 0.5.0 或更高版本）。本地提示网络的训练代码可在 colorization-pytorch 仓库中找到。

基于学习的深度先验知识的实时用户引导图像着色。
Richard Zhang*, Jun-Yan Zhu*, Phillip Isola、Xinyang Geng、Angela S. Lin、Tianhe Yu，以及 Alexei A. Efros。
发表于 ACM 图形学汇刊（SIGGRAPH 2017）。
(*表示共同第一作者)

我们首先介绍系统 (0) 前置条件及(1) 入门步骤。随后我们将描述交互式着色演示 (2) 交互式着色（局部提示网络）。共有两个演示：(a) iPython 笔记本中的“精简版”；(b) 我们论文中使用的完整 GUI 版本。接下来我们还将提供一个(3) 全局提示网络的示例。

(0) 前置条件

• Linux 或 macOS
• Caffe 或 PyTorch
• CPU 或 NVIDIA 显卡 + CUDA CuDNN。

(1) 入门

• 克隆此仓库：

git clone https://github.com/junyanz/interactive-deep-colorization ideepcolor
cd ideepcolor

• 下载参考模型

bash ./models/fetch_models.sh

• 安装 Caffe 或 PyTorch 以及第三方 Python 库（OpenCV、scikit-learn 和 scikit-image）。更多细节请参阅 要求。

(2) 交互式着色（局部提示网络）

我们提供了一个 iPython 笔记本中的“精简版”演示，无需 QT。同时我们也提供了完整的 GUI 演示。

(2a) 精简版交互式着色演示

• 运行 ipython notebook 并点击 DemoInteractiveColorization.ipynb。

如果需要将笔记本转换为旧版本，请使用 jupyter nbconvert --to notebook --nbformat 3 ./DemoInteractiveColorization.ipynb。

(2b) 完整 GUI 演示

• 安装 Qt5 和 QDarkStyle。（详见 安装）

• 运行界面：python ideepcolor.py --gpu [GPU_ID] --backend [CAFFE OR PYTORCH]。参数说明如下：

--win_size    [512] GUI窗口大小
--gpu         [0] GPU编号
--image_file  ['./test_imgs/mortar_pestle.jpg'] 图像文件路径
--backend     ['caffe'] 可选择 'caffe' 或 'pytorch'；'caffe' 是 SIGGRAPH 2017 的官方模型，而 'pytorch' 则是相同权重的转换版本

• 用户交互

• 添加点：在输入板上左键单击某处
• 移动点：在输入板上按住某个点并拖动至所需位置后松开
• 更改颜色：对于当前选中的点，可从中间左侧推荐的颜色中选择，或从左上角的 ab 色域中选取颜色
• 删除点：在输入板上右键单击某点
• 调整补丁大小：通过鼠标滚轮可将补丁大小从 1x1 调整至 9x9
• 加载图片：点击加载图片按钮并选择所需图片
• 重置：点击重置按钮，输入板上的所有点将被清除。
• 保存结果：点击保存按钮，生成的着色结果将与用户输入的 ab 值一同保存在 image_file 所在目录中。
• 退出：点击退出按钮。

(3) 全局提示网络

我们包含了一个全局提示网络的应用示例，用于全局直方图迁移。其用法将在 iPython 笔记本中展示。

• 将 ./caffe_files 添加到你的 PYTHONPATH

• 运行 ipython notebook。点击 ./DemoGlobalHistogramTransfer.ipynb

安装

• 安装 Caffe 或 PyTorch。Caffe 模型为官方版本。PyTorch 为重新实现。

  • 安装 Caffe：请参考 Caffe 安装指南 和 Ubuntu 安装 文档。请务必编译带有 Python 层支持的 Caffe（在 Makefile.config 中设置 WITH_PYTHON_LAYER=1），并通过 make pycaffe 构建 Caffe 的 Python 库。

  此外，还需将 pycaffe 添加到你的 PYTHONPATH 中。使用 vi ~/.bashrc 编辑环境变量。

  PYTHONPATH=/path/to/caffe/python:$PYTHONPATH
  LD_LIBRARY_PATH=/path/to/caffe/build/lib:$LD_LIBRARY_PATH
  

  • 安装 PyTorch：请参考 PyTorch 安装指南。

• 安装 scikit-image、scikit-learn、opencv、Qt5 和 QDarkStyle 包：

# ./install/install_deps.sh
sudo pip install scikit-image
sudo pip install scikit-learn
sudo apt-get install python-opencv
sudo apt-get install qt5-default
sudo pip install qdarkstyle

对于 Conda 用户，可执行以下命令（这可能适用于完整的 Anaconda，但不适用于 Miniconda）：

# ./install/install_conda.sh
conda install -c anaconda protobuf  ## photobuf
conda install -c anaconda scikit-learn=0.19.1 ## scikit-learn
conda install -c anaconda scikit-image=0.13.0  ## scikit-image
conda install -c menpo opencv=2.4.11   ## opencv
conda install -c anaconda qt ## qt5
conda install -c auto qdarkstyle  ## qdarkstyle

对于 Docker 用户，请按照 Docker 文档 操作。

• Docker: [OSX Docker 文件] 和 [OSX 安装视频] 由 @vbisbest 提供，[Docker 文件 2]（由 @sabrinawallner 提供）基于 DL Docker。

• 更多安装 帮助（由 @SleepProgger 提供）。

训练

请在 colorization-pytorch 仓库中找到本地提示网络训练代码的 PyTorch 重实现。

引用

如果您在研究中使用此代码，请引用我们的论文：

@article{zhang2017real,
  title={实时用户引导图像上色：基于学习的深度先验},
  author={Zhang, Richard and Zhu, Jun-Yan and Isola, Phillip and Geng, Xinyang and Lin, Angela S and Yu, Tianhe and Efros, Alexei A},
  journal={ACM 图形学汇刊 (TOG)},
  volume={9},
  number={4},
  year={2017},
  publisher={ACM}
}

猫论文集

其中一位作者因对猫过敏而反对将此列表收录。另一位作者则认为猫是愚蠢的生物，而本文是一篇严肃的科学论文，因此也持反对意见。然而，如果您喜爱猫，并且喜欢阅读酷炫的图形学、视觉和机器学习相关论文，请查看猫论文集：[Github] [网页]

Interactive Deep Colorization 快速上手指南

Interactive Deep Colorization 是一个基于深度学习的实时交互式图像上色工具。用户可以通过在灰度图上点击少量颜色提示点，引导模型生成自然且符合预期的彩色图像。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户可参考项目仓库的 windows 分支）。
• 硬件：CPU 或 NVIDIA GPU（推荐 GPU + CUDA + CuDNN 以获得实时交互体验）。
• 核心框架（二选一）：
  • Caffe（官方原始模型，需编译支持 Python 层）
  • PyTorch (0.5.0+，社区复现版本)
• Python 依赖库：
  • OpenCV
  • scikit-learn
  • scikit-image
  • Qt5 及 QDarkStyle（仅完整 GUI 模式需要）

国内加速建议：安装 Python 包时，建议使用清华源或阿里源加速下载。例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>。

安装步骤

1. 克隆项目并下载模型

git clone https://github.com/junyanz/interactive-deep-colorization ideepcolor
cd ideepcolor

# 下载预训练模型
bash ./models/fetch_models.sh

2. 安装依赖库

您可以根据自身环境选择 pip、conda 或手动编译 Caffe。

方案 A：使用 pip 安装（推荐 PyTorch 用户）

# 建议先升级 pip
pip install --upgrade pip

# 安装核心图像处理库（使用国内镜像加速）
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scikit-image scikit-learn opencv-python qdarkstyle

# 安装 Qt5 (Ubuntu/Debian 示例)
sudo apt-get install qt5-default

方案 B：使用 Conda 安装

如果您使用 Anaconda/Miniconda，可以运行以下命令：

conda install -c anaconda protobuf
conda install -c anaconda scikit-learn=0.19.1
conda install -c anaconda scikit-image=0.13.0
conda install -c menpo opencv=2.4.11
conda install -c anaconda qt
conda install -c auto qdarkstyle

方案 C：配置 Caffe（仅当使用 Caffe 后端时）

若需使用原始的 Caffe 模型，请确保编译 Caffe 时开启了 Python 支持：

1. 修改 Makefile.config，设置 WITH_PYTHON_LAYER := 1。
2. 执行 make pycaffe。
3. 将 Caffe Python 路径加入环境变量：

   export PYTHONPATH=/path/to/caffe/python:$PYTHONPATH
   export LD_LIBRARY_PATH=/path/to/caffe/build/lib:$LD_LIBRARY_PATH
   

基本使用

本项目提供两种使用方式：轻量级的 Jupyter Notebook 演示和完整的图形界面（GUI）。

方式一：轻量级演示 (Jupyter Notebook)

无需安装 Qt 即可快速体验核心功能。

1. 启动 Jupyter Notebook：

   jupyter notebook
   

2. 在浏览器中打开并运行 DemoInteractiveColorization.ipynb。
3. 按照笔记中的步骤加载图片并添加颜色提示点。

方式二：完整图形界面 (GUI)

这是论文中展示的完整交互界面，支持实时调整。

1. 运行启动命令（根据您安装的后端选择 caffe 或 pytorch）：

   python ideepcolor.py --gpu 0 --backend pytorch --image_file './test_imgs/mortar_pestle.jpg'
   

   参数说明：

   • --gpu: GPU 编号，若无 GPU 可移除该参数或使用 CPU 模式。
   • --backend: 指定后端，可选 'caffe' 或 'pytorch'。
   • --image_file: 输入灰度图的路径。

2. 交互操作指南：

   • 添加提示点：在左侧输入面板上左键单击。
   • 移动提示点：左键按住某点并拖动到目标位置。
   • 更改颜色：选中点后，在中间左侧选择推荐色，或在左上角 ab 色域图中选取自定义颜色。
   • 删除提示点：在某点上右键单击。
   • 调整笔刷大小：滚动鼠标滚轮（范围 1x1 到 9x9）。
   • 保存结果：点击 "Save" 按钮，结果将保存在原图片所在目录。
   • 重置：点击 "Restart" 清除所有提示点。

全局直方图迁移（可选）

如果需要体验全局色彩风格迁移（Global Hints Network），请运行：

export PYTHONPATH=./caffe_files:$PYTHONPATH
jupyter notebook
# 打开并运行 ./DemoGlobalHistogramTransfer.ipynb