草图简化

草图简化的一个示例结果。图片版权归久保之内荣作（@EISAKUSAKU）所有，仅允许非商业性研究用途。

概述

此代码提供了用于以下两篇研究论文的预训练模型：

   “学习简化：用于粗糙草图清理的全卷积网络”
   Edgar Simo-Serra*, Satoshi Iizuka*, Kazuma Sasaki, Hiroshi Ishikawa (* 共同第一作者)
   ACM 图形学汇刊（SIGGRAPH），2016年

以及

   “掌握草图绘制：面向结构化预测的对抗增强”
   Edgar Simo-Serra*, Satoshi Iizuka*, Hiroshi Ishikawa (* 共同第一作者)
   ACM 图形学汇刊（TOG），2018年

更多详细信息请参阅我们的项目页面。

依赖项

• PyTorch（版本 0.4.1） torchvision
• pillow

所有这些包通常都包含在标准的 PyTorch 安装中。有关如何安装 PyTorch 的信息，请参阅 PyTorch 官网。

使用方法

首次使用前，需通过以下命令下载模型：

bash download_models.sh

然后可以运行以下命令测试模型：

python simplify.py

您应该会看到一个名为 out.png 的文件生成，其中包含模型的输出结果。

可以通过以下命令查看应用程序选项：

python simplify.py --help

铅笔画生成

使用相同的接口，也可以进行铅笔画的生成。在这种情况下，输入应为干净的线条图，而非粗糙的草图。可以通过以下命令生成线条图：

python simplify.py --img test_line.png --out out_rough.png --model model_pencil2.t7

这将根据 test_line.png 生成一个粗糙版本，并保存为 out_rough.png。通过更换不同的模型，可以生成不同风格的粗糙草图。

模型

• model_mse.t7：仅使用 MSE 损失训练的模型（SIGGRAPH 2016 年的模型）。
• model_gan.t7：结合 MSE 和 GAN 损失，同时使用有监督和无监督数据训练的模型（TOG 2018 年的模型）。
• model_pencil1.t7：基于艺术家 1 风格的铅笔画生成模型（脏污且褪色的铅笔线条）。
• model_pencil2.t7：基于艺术家 2 风格的铅笔画生成模型（更清晰、叠加的铅笔线条）。

复现论文中的图表

为了确保可复现性，我们提供了用于复现论文中图表的代码。下载模型后，您可以运行以下命令：

./figs.sh

这将会处理 figs/ 目录下的输入图像，并将输出保存到 out/ 目录中。需要注意的是，由于硬件差异以及 PyTorch 实现上的细微差别，最终结果可能与论文中的结果略有不同。此外，此处展示的结果并未进行本文末尾注释中提到的后处理步骤。

请注意，我们并不拥有所有这些图片的版权，通常仅允许非商业性的研究用途。特别是，fig16_eisaku.png、fig06_eisaku_robo.png、fig06_eisaku_joshi.png 和 fig01_eisaku.png 均归久保之内荣作（@EISAKUSAKU）所有，仅允许非商业性研究用途。而 fig14_pepper.png 和 fig06_pepper.png 则由大卫·雷瓦伊（www.davidrevoy.com）以 CC-by 4.0 许可证授权。

训练

请参阅训练说明文档。

注释

• 模型采用 Torch7 格式，并使用 PyTorch 的旧版代码加载。
• 本项目于 2015 年末至 2016 年底期间在多台机器上开发并测试。
• 提供的模型采用非商业性的知识共享许可协议。
• 未进行后处理。您可以手动执行后处理：convert out.png bmp:- | mkbitmap - -t 0.3 -o - | potrace --svg --group -t 15 -o - > out.svg。

引用

如果您使用这些模型，请引用以下文献：

@Article{SimoSerraSIGGRAPH2016,
   author    = {Edgar Simo-Serra 和 Satoshi Iizuka、Kazuma Sasaki、Hiroshi Ishikawa},
   title     = {{学习简化：用于粗糙草图清理的全卷积网络}},
   journal   = "ACM 图形学汇刊（SIGGRAPH）",
   year      = 2016,
   volume    = 35,
   number    = 4,
}

以及

@Article{SimoSerraTOG2018,
   author    = {Edgar Simo-Serra 和 Satoshi Iizuka、Hiroshi Ishikawa},
   title     = {{掌握草图绘制：面向结构化预测的对抗增强}},
   journal   = "ACM 图形学汇刊（TOG）",
   year      = 2018,
   volume    = 37,
   number    = 1,
}

致谢

本研究部分得到了日本科学技术振兴机构 CREST 计划（Grant Number JPMJCR14D1）以及 ACT-I 计划（Grant Numbers JPMJPR16UD 和 JPMJPR16U3）的支持。

许可证

本草图简化代码可供免费的非商业性使用，并可在满足以下条件的情况下重新分发。有关详细信息，请参阅许可证。

Sketch Simplification 快速上手指南

Sketch Simplification 是一个基于深度学习的开源工具，能够将粗糙的手绘草图自动清理为干净的线条图，同时也支持将干净线稿转换为铅笔素描风格。该项目基于 PyTorch 实现，源自 SIGGRAPH 2016 和 TOG 2018 的研究论文。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux、macOS 或 Windows（需配置相应 Python 环境）
• Python 版本：建议 Python 3.6+
• 核心依赖：
  • PyTorch (版本需兼容，原文测试于 0.4.1，建议使用较新版本并注意模型加载兼容性)
  • torchvision
  • pillow (PIL)

国内加速建议： 安装 PyTorch 时，推荐使用清华或中科大镜像源以提升下载速度。例如使用 pip 安装：

pip install torch torchvision pillow -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆或下载项目代码 获取本项目源代码到本地目录。

2. 安装 Python 依赖 确保已安装上述依赖包。如果未安装，执行：

   pip install torch torchvision pillow
   

3. 下载预训练模型 首次使用前，必须运行脚本下载预训练模型文件（.t7 格式）：

   bash download_models.sh
   

   注：若在网络受限环境，可能需要手动从项目主页下载模型并放入对应目录。

基本使用

1. 草图简化（Rough Sketch Cleanup）

将粗糙的手绘草图转换为干净线条。运行默认测试命令，程序会自动处理示例图片并生成 out.png：

python simplify.py

查看完整参数选项：

python simplify.py --help

自定义输入输出及模型（例如使用 GAN 模型以获得更好效果）：

python simplify.py --img input_sketch.png --out cleaned_result.png --model model_gan.t7

2. 铅笔素描生成（Pencil Drawing Generation）

该工具也可逆向操作，将干净的线稿转换为具有艺术感的铅笔素描。

示例：使用艺术家 2 的风格模型，将 test_line.png 转换为粗糙铅笔效果：

python simplify.py --img test_line.png --out out_rough.png --model model_pencil2.t7

可用模型说明

• model_mse.t7: 基础模型（SIGGRAPH 2016），仅使用 MSE 损失训练。
• model_gan.t7: 进阶模型（TOG 2018），结合 MSE 和 GAN 损失，效果更自然（推荐用于草图简化）。
• model_pencil1.t7: 铅笔生成模型，风格较脏且褪色。
• model_pencil2.t7: 铅笔生成模型，线条更清晰重叠。

注意：生成的图片如需矢量化的 SVG 格式，可手动使用 ImageMagick 和 Potrace 进行后处理：

convert out.png bmp:- | mkbitmap - -t 0.3 -o - | potrace --svg --group -t 15 -o - > out.svg