AnimeGANv2 的 PyTorch 实现

更新日志

• 2021-10-17 添加了 FacePortraitV2 的权重。

  

• 2021-11-07 感谢 ak92501，一个 Web 演示 已通过 Gradio 集成到 Huggingface Spaces。

• 2021-11-07 感谢 xhlulu，现在可以使用 torch.hub 模型。请参阅 Torch Hub 用法。

基本用法

推理

python test.py --input_dir [image_folder_path] --device [cpu/cuda]

Torch Hub 用法

你可以通过 torch.hub 加载模型：

import torch
model = torch.hub.load("bryandlee/animegan2-pytorch", "generator").eval()
out = model(img_tensor)  # BCHW tensor

目前，可用的 pretrained 简写如下：

model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="celeba_distill")
model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="face_paint_512_v1")
model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="face_paint_512_v2")
model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="paprika")

你也可以加载 face2paint 工具函数：

from PIL import Image

face2paint = torch.hub.load("bryandlee/animegan2-pytorch:main", "face2paint", size=512)

img = Image.open(...).convert("RGB")
out = face2paint(model, img)

关于 torch.hub 的更多细节，请参阅 torch 文档

从原始仓库（Tensorflow）转换权重

1. 安装 原始仓库的依赖: python 3.6, tensorflow 1.15.0-gpu
2. 安装 torch >= 1.7.1
3. 克隆原始仓库并运行

git clone https://github.com/TachibanaYoshino/AnimeGANv2
python convert_weights.py

示例

从转换后的 `Paprika` 风格模型得到的结果（从左到右：输入图像，原始 Tensorflow 结果，PyTorch 结果）

     

注意： 由于 双线性上采样问题，转换后的权重得到的结果略有不同。

额外模型权重

Webtoon Face [ckpt]

示例

在 256x256 人脸图像上训练。使用 L2 + VGG + GAN 损失和 CelebA-HQ 图像，从 webtoon face model 蒸馏而来。

 

Face Portrait v1 [ckpt]

示例

在 512x512 人脸图像上训练。

📺

Face Portrait v2 [ckpt]

示例

在 512x512 人脸图像上训练。与 v1 相比，🔻美化程度降低 🔺鲁棒性增强

🦑 🎮 🔥

AnimeGAN2-PyTorch 快速上手指南

环境准备

系统要求

• Python 3.6+
• PyTorch >= 1.7.1
• CUDA（如需GPU加速）

前置依赖安装

pip install torch torchvision pillow

安装步骤

方法一：直接克隆仓库

git clone https://github.com/bryandlee/animegan2-pytorch.git
cd animegan2-pytorch

方法二：通过PyPI安装（如可用）

# 官方源
pip install animegan2-pytorch

# 或使用国内镜像加速
pip install animegan2-pytorch -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

方式一：命令行推理

# 处理单个图片文件夹
python test.py --input_dir [图片文件夹路径] --device [cpu/cuda]

方式二：Python代码调用

import torch
from PIL import Image

# 加载模型（使用Hugging Face镜像加速）
model = torch.hub.load("bryandlee/animegan2-pytorch:main", 
                      "generator", 
                      pretrained="face_paint_512_v2")

# 加载图片处理工具
face2paint = torch.hub.load("bryandlee/animegan2-pytorch:main", 
                           "face2paint", 
                           size=512)

# 处理图片
img = Image.open("input.jpg").convert("RGB")
result = face2paint(model, img)
result.save("output.jpg")

方式三：在线体验

• Hugging Face演示空间：https://huggingface.co/spaces/akhaliq/AnimeGANv2
• Google Colab笔记本：https://colab.research.google.com/github/bryandlee/animegan2-pytorch/blob/main/colab_demo.ipynb

预训练模型选择

# 多种风格可选
model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="celeba_distill")
model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="face_paint_512_v1")
model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="face_paint_512_v2")
model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="paprika")

权重转换（从TensorFlow原版）

如需使用原版TensorFlow模型的权重：

# 克隆原版仓库
git clone https://github.com/TachibanaYoshino/AnimeGANv2

# 运行转换脚本
python convert_weights.py

注意：转换后的权重结果可能与原版略有差异，这是由于PyTorch和TensorFlow在双线性上采样实现上的不同。