ICCV2019-学习绘画

arXiv | YouTube | Reddit | 幻灯片（中文） | DeepWiki | Replicate

Zhewei Huang, Wen Heng, Shuchang Zhou

摘要

我们展示了如何教会机器像人类画家一样绘画——那些仅用少量笔触就能创作出精彩画作的艺术家。通过在基于模型的深度强化学习（DRL）中引入神经渲染器，我们的智能体能够学会决定每笔的位置和颜色，并制定长期计划，将纹理丰富的图像分解为一系列笔触。实验表明，仅需数百笔即可达到出色的视觉效果。训练过程中无需人类画家的经验或笔触追踪数据。

您可以通过Colaboratory轻松尝试。

依赖项

• PyTorch 1.1.0
• tensorboardX
• opencv-python 3.4.0

pip3 install torch==1.1.0
pip3 install tensorboardX
pip3 install opencv-python

测试

测试前请确保存在renderer.pkl和actor.pkl。

您可以下载一个训练好的神经渲染器和CelebA智能体用于测试：renderer.pkl 和 actor.pkl

$ wget "https://drive.google.com/uc?export=download&id=1-7dVdjCIZIxh8hHJnGTK-RA1-jL1tor4" -O renderer.pkl
$ wget "https://drive.google.com/uc?export=download&id=1a3vpKgjCVXHON4P7wodqhCgCMPgg1KeR" -O actor.pkl
$ python3 baseline/test.py --max_step=100 --actor=actor.pkl --renderer=renderer.pkl --img=image/test.png --divide=4
$ ffmpeg -r 10 -f image2 -i output/generated%d.png -s 512x512 -c:v libx264 -pix_fmt yuv420p video.mp4 -q:v 0 -q:a 0
(制作绘画过程视频)

我们还提供了其他神经渲染器和智能体，您可以使用它们代替renderer.pkl来训练智能体：

triangle.pkl --- actor_triangle.pkl;

round.pkl --- actor_round.pkl;

bezierwotrans.pkl --- actor_notrans.pkl

我们还提供百度网盘资源。链接: https://pan.baidu.com/s/1GELBQCeYojPOBZIwGOKNmA 提取码: aq8n

训练

数据集

下载CelebA数据集，并将对齐后的图像放入data/img_align_celeba/******.jpg目录下。

神经渲染器

为了创建可微分的绘画环境，我们需要首先训练神经渲染器。

$ python3 baseline/train_renderer.py
$ tensorboard --logdir train_log --port=6006
(训练过程将在http://127.0.0.1:6006上显示)

绘画智能体

当神经渲染器表现足够好后，我们可以开始训练智能体。

$ cd baseline
$ python3 train.py --max_step=40 --debug --batch_size=96
(默认情况下，一步包含5笔。)
$ tensorboard --logdir train_log --port=6006

资源

量子位报道

学习绘画：一个绘画AI

旷视研究院推出基于深度强化学习的绘画智能体

• 我们的ICCV海报
  
• 我们针对审稿人的ICCV反驳意见

贡献者

• hzwer
• ak9250

同时非常感谢ctmakro对本工作的启发。他还探索了使用贪心算法生成绘画作品——opencv_playground。

如果您认为本仓库对您的研究有所帮助，请引用以下论文：

@inproceedings{huang2019learning,
  title={Learning to paint with model-based deep reinforcement learning},
  author={Huang, Zhewei and Heng, Wen and Zhou, Shuchang},
  booktitle={Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
  year={2019}
}

ICCV2019-LearningToPaint 快速上手指南

本项目旨在通过基于模型的深度强化学习（DRL），教会机器像人类画家一样，用少量笔触创作出精彩的画作。代理（Agent）能够自主决定每笔的位置和颜色，并将纹理丰富的图像分解为笔触序列。

环境准备

系统要求

• 操作系统: Linux / macOS (Windows 需自行配置 PyTorch 环境)
• Python: 推荐 Python 3.6+
• GPU: 推荐使用 NVIDIA GPU 加速训练和推理（可选，CPU 亦可运行但较慢）

前置依赖

本项目依赖以下核心库：

• PyTorch 1.1.0
• tensorboardX
• opencv-python 3.4.0

提示：国内开发者建议使用清华或阿里镜像源加速安装。

安装步骤

1. 克隆项目

git clone https://github.com/hzwer/LearningToPaint.git
cd LearningToPaint

2. 安装依赖

使用 pip 安装指定版本的依赖包：

pip3 install torch==1.1.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install tensorboardX -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install opencv-python==3.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载预训练模型（测试用）

在测试前，需要下载预训练的神经渲染器（renderer）和代理模型（actor）。

方式一：直接下载 (Google Drive)

wget "https://drive.google.com/uc?export=download&id=1-7dVdjCIZIxh8hHJnGTK-RA1-jL1tor4" -O renderer.pkl
wget "https://drive.google.com/uc?export=download&id=1a3vpKgjCVXHON4P7wodqhCgCMPgg1KeR" -O actor.pkl

方式二：百度网盘 (国内推荐)

• 链接: https://pan.baidu.com/s/1GELBQCeYojPOBZIwGOKNmA
• 提取码: aq8n
• 下载后将 renderer.pkl 和 actor.pkl 放置于项目根目录。

基本使用

快速体验 (Colab)

如果你不想配置本地环境，可以直接在 Google Colab 上运行： 打开 Colab 笔记本

本地测试推理

确保当前目录下存在 renderer.pkl 和 actor.pkl，并准备一张测试图片（例如放入 image/test.png）。

运行以下命令生成绘画过程：

python3 baseline/test.py --max_step=100 --actor=actor.pkl --renderer=renderer.pkl --img=image/test.png --divide=4

生成的图片将保存在 output/ 目录下。你可以使用 ffmpeg 将其合成为视频：

ffmpeg -r 10 -f image2 -i output/generated%d.png -s 512x512 -c:v libx264 -pix_fmt yuv420p video.mp4 -q:v 0 -q:a 0

其他可用模型

项目还提供了不同笔触类型的模型（三角形、圆形、贝塞尔曲线），替换上述 .pkl 文件即可尝试不同风格：

• 三角形: triangle.pkl + actor_triangle.pkl
• 圆形: round.pkl + actor_round.pkl
• 贝塞尔 (无变换): bezierwotrans.pkl + actor_notrans.pkl

---

注：如需从头训练模型，请参照原文档 "Training" 章节准备 CelebA 数据集并运行 train_renderer.py 及 train.py。