[CVPR2020]利用白盒卡通表示学习卡通化

项目页面 | 论文 | 推特 | 知乎 | 哔哩哔哩 | 人脸模型

• CVPR2020论文“利用白盒卡通表示学习卡通化”的TensorFlow实现。
• 针对人脸图像的改进方法现已可用：
• https://github.com/SystemErrorWang/FacialCartoonization

应用场景

风景

食物

室内场景

人物

更多图片请参见补充材料

在线演示

• 一些好心人为此项目制作了在线演示
• 演示链接：https://cartoonize-lkqov62dia-de.a.run.app/cartoonize
• 代码：https://github.com/experience-ml/cartoonize
• 示例演示：https://www.youtube.com/watch?v=GqduSLcmhto&feature=emb_title

先决条件

• 训练代码：Linux或Windows
• NVIDIA GPU + CUDA CuDNN以获得最佳性能
• 推理代码：Linux、Windows和MacOS

使用方法

安装

• 假设您已经安装了NVIDIA GPU和CUDA CuDNN
• 安装tensorflow-gpu，我们测试过1.12.0和1.13.0rc0版本
• 安装scikit-image==0.14.5，其他版本可能会导致问题

Docker

您可以通过Docker运行卡通化，而无需在本地安装任何依赖项。

构建Docker镜像

docker build --platform linux/amd64 -t whitebox-cartoonization:latest .

使用默认测试图片运行

docker run --rm --platform linux/amd64 whitebox-cartoonization:latest

使用自定义图片运行

将您的输入和输出目录挂载为卷：

docker run --rm --platform linux/amd64 \
  -v /path/to/your/images:/app/test_code/test_images \
  -v /path/to/output:/app/test_code/cartoonized_images \
  whitebox-cartoonization:latest

Docker环境详情

• 基础镜像: tensorflow/tensorflow:1.15.5-py3 (Ubuntu 18.04)
• Python: 3.6
• TensorFlow: 1.15.5
• 平台: linux/amd64 (可通过模拟在Apple Silicon上运行)

使用预训练模型进行推理

• 将测试图片存放在/test_code/test_images中
• 运行/test_code/cartoonize.py
• 结果将保存在/test_code/cartoonized_images中

训练

• 将您的训练数据放入/dataset中的相应文件夹
• 运行pretrain.py，结果将保存在/pretrain文件夹中
• 运行train.py，结果将保存在/train_cartoon文件夹中
• 代码来自生产环境，未经充分测试
• 可能存在一些小问题，但应该容易解决
• 预训练的VGG_19模型可在以下网址找到： https://drive.google.com/file/d/1j0jDENjdwxCDb36meP6-u5xDBzmKBOjJ/view?usp=sharing

数据集

• 由于版权问题，我们无法提供用于训练的卡通图像
• 但是，这些训练数据集很容易准备
• 风景图像收集自新海诚、宫崎骏和细田守的电影
• 将影片剪辑成帧，并随机裁剪和调整大小至256x256
• 人像图像来自京都动画和PA Works
• 我们使用这个仓库(https://github.com/nagadomi/lbpcascade_animeface)来检测面部区域
• 手动清理数据将大大提高两个数据集的质量

致谢

我们感谢张立民和Style2Paints Research的帮助。

许可证

• 版权所有 © Xinrui Wang。根据CC BY-NC-SA 4.0许可证授权（https://creativecommons.org/licenses/by-nc-sa/4.0/legalcode）。
• 禁止商业用途，如果您克隆此仓库，请保留此许可证。

引用

如果您在研究中使用此代码，请引用我们的论文：

@InProceedings{Wang_2020_CVPR, author = {Wang, Xinrui and Yu, Jinze}, title = {Learning to Cartoonize Using White-Box Cartoon Representations}, booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2020} }

中文社区

我们有一个除了技术什么东西都聊的以技术交流为主的群。如果你一次加群失败，可以多次尝试: 816096787。

White-box-Cartoonization 快速上手指南

本项目基于 CVPR 2020 论文《Learning to Cartoonize Using White-box Cartoon Representations》，可将真实照片转换为动漫风格图像。

环境准备

系统要求：

• 训练代码：Linux 或 Windows
• 推理代码（仅使用模型）：Linux、Windows 或 MacOS
• 硬件加速：推荐使用 NVIDIA GPU + CUDA CuDNN 以获得最佳性能（推理在非 GPU 环境下也可运行，但速度较慢）

前置依赖：

• Python 3.6 (Docker 环境默认) 或兼容版本
• TensorFlow GPU 版本 (测试通过版本：1.12.0, 1.13.0rc0, 1.15.5)
• scikit-image (严格版本：0.14.5，其他版本可能导致问题)

安装步骤

方式一：使用 Docker（推荐，无需配置本地环境）

如果你已安装 Docker，这是最简便的方式，支持 Linux/macOS/Windows。

1. 构建镜像

   docker build --platform linux/amd64 -t whitebox-cartoonization:latest .
   

2. 验证安装（使用默认测试图片）

   docker run --rm --platform linux/amd64 whitebox-cartoonization:latest
   

方式二：本地手动安装

1. 安装 TensorFlow GPU

   pip install tensorflow-gpu==1.15.5
   # 或者根据显卡驱动选择 1.12.0 或 1.13.0rc0
   

2. 安装特定版本的 scikit-image

   pip install scikit-image==0.14.5
   

3. 下载预训练模型 从以下链接下载 VGG_19 预训练模型并放置于项目目录： Google Drive 下载链接

基本使用

场景 A：使用 Docker 处理自定义图片

将本地图片目录挂载到容器中进行转换。

1. 准备输入目录（存放原图）和输出目录（存放结果）。

2. 运行以下命令（请替换 /path/to/... 为实际路径）：

   docker run --rm --platform linux/amd64 \
     -v /path/to/your/images:/app/test_code/test_images \
     -v /path/to/output:/app/test_code/cartoonized_images \
     whitebox-cartoonization:latest
   

3. 转换后的图片将保存在 /path/to/output 目录中。

场景 B：本地运行推理

1. 准备图片 将需要转换的测试图片放入 /test_code/test_images 文件夹。

2. 执行转换 在项目根目录下运行：

   python /test_code/cartoonize.py
   

3. 获取结果 生成的动漫风格图片将保存在 /test_code/cartoonized_images 文件夹中。

注意：如需针对人脸进行更优化的卡通化效果，建议参考作者提供的专用项目 FacialCartoonization。