GANs N' Roses Pytorch

这是 GANs N’ Roses: 稳定、可控、多样化的图像到图像翻译（也适用于视频！） 的 PyTorch 实现。

摘要:
我们展示了如何学习一个映射，该映射将从人脸图像中提取的内容编码与随机选择的风格编码结合，生成动漫图像。我们基于简单而有效的风格和内容定义，推导出对抗损失。这种对抗损失保证了映射的多样性——仅用一个内容编码就能生成非常广泛的动漫风格。在合理假设下，该映射不仅具有多样性，还能正确地表示给定输入人脸条件下的动漫概率分布。相比之下，当前的多模态生成方法无法捕捉动漫中复杂的风格特征。大量的定量实验支持这一观点，而丰富的定性结果则表明，该方法能够生成比现有最先进方法更加多样化风格的图像。最后，我们证明了对内容和风格的严格形式化定义使我们能够在未进行视频训练的情况下实现视频到视频的转换。

Replicate 上的演示及 Docker 镜像

Gradio 在线演示

最新动态

6月20日 现在您可以在 Colab 中轻松上传自己的图片。

依赖项

conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=<CUDA_VERSION>
pip install tqdm gdown kornia scipy opencv-python dlib moviepy lpips aubio ninja

数据集

我们用于训练的数据集是来自 UGATIT 的 selfie2anime 数据集。您也可以使用以下格式的自定义数据集。

└── YOUR_DATASET_NAME
   ├── trainA
       ├── xxx.jpg (名称、格式不限)
       ├── yyy.png
       └── ...
   ├── trainB
       ├── zzz.jpg
       ├── www.png
       └── ...
   ├── testA
       ├── aaa.jpg 
       ├── bbb.png
       └── ...
   └── testB
       ├── ccc.jpg 
       ├── ddd.png
       └── ...

训练

为了使用自定义的 CUDA 内核代码进行训练，您可以切换到 train 分支。否则，程序将使用 PyTorch 原生实现。

python train.py --name EXP_NAME --d_path YOUR_DATASET_NAME --batch BATCH_SIZE

如果您希望用于微调等目的，完整的模型检查点请见 这里。

推理

我们的 Notebook 提供了全面的图像和视频翻译演示。预训练模型会自动下载。目前只有女性风格的翻译效果较好，因为数据集中仅包含女性样本。要实现男性风格的翻译，还需要更全面的数据集。

引用

如果您使用了本代码或论文中的相关思想，请引用我们的论文：

@misc{chong2021gans,
      title={GANs N' Roses: 稳定、可控、多样化的图像到图像翻译（也适用于视频！）}, 
      author={Min Jin Chong 和 David Forsyth},
      year={2021},
      eprint={2106.06561},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

致谢

本代码大量借鉴了 rosinality 的 StyleGAN2，并部分参考了 UGATIT。

GANsNRoses 快速上手指南

GANsNRoses 是一个基于 PyTorch 的图像到图像翻译工具，能够将人脸照片稳定、可控且多样化地转换为动漫风格（支持视频转换）。本项目特别擅长生成风格多样的动漫形象。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.6+
• GPU: 支持 CUDA 的 NVIDIA 显卡（用于加速训练和推理）
• CUDA: 根据您的显卡驱动版本安装对应的 Toolkit

前置依赖安装

推荐使用 conda 创建独立环境并安装核心深度学习库：

conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=<CUDA_VERSION>

注：请将 <CUDA_VERSION> 替换为您实际的 CUDA 版本号（如 10.2, 11.0 等）。

接着安装其他必要的 Python 包：

pip install tqdm gdown kornia scipy opencv-python dlib moviepy lpips aubio ninja

国内加速建议：如果下载速度较慢，可使用清华或阿里镜像源加速 pip 安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tqdm gdown kornia scipy opencv-python dlib moviepy lpips aubio ninja

安装步骤

1. 克隆项目代码

   git clone https://github.com/mchong6/GANsNRoses.git
   cd GANsNRoses
   

2. 准备数据集 项目默认使用 selfie2anime 数据集。您可以从 UGATIT selfie2anime 下载，或按照以下结构整理自己的数据集：

   └── YOUR_DATASET_NAME
      ├── trainA       # 源域图片（如真人照片）
      ├── trainB       # 目标域图片（如动漫图）
      ├── testA        # 测试用源域图片
      └── testB        # 测试用目标域图片
   

   注意：文件名和格式不限，但需放入对应文件夹。目前预训练模型主要针对女性人脸优化。

基本使用

方式一：在线体验（无需安装）

如果您只想快速测试效果，可以直接使用 Google Colab 或 Gradio 演示：

• Colab Notebook: 点击打开 (支持上传自定义图片)
• Gradio Web Demo: 访问链接

方式二：本地推理 (Inference)

项目提供了完整的 Jupyter Notebook 用于图片和视频转换演示，预训练模型会自动下载。

1. 启动 Jupyter Notebook：

   jupyter notebook inference_colab.ipynb
   

2. 在 Notebook 中按顺序运行单元格，即可将 testA 文件夹中的人脸图片转换为动漫风格。

方式三：本地训练 (Training)

如果您需要使用自定义数据集进行训练，建议切换到 train 分支以启用自定义 CUDA 内核加速（否则将使用 PyTorch 原生实现）。

# 切换分支（可选，用于高性能训练）
git checkout train

# 开始训练
python train.py --name EXP_NAME --d_path YOUR_DATASET_NAME --batch BATCH_SIZE

• EXP_NAME: 实验名称
• YOUR_DATASET_NAME: 数据集根目录路径
• BATCH_SIZE: 批处理大小（根据显存调整）

训练完成后，生成的模型可用于进一步的微调或推理。