沉稳的生成模型

简介

出于纯粹的好奇心，我构建了一个 malnyun 漫画人脸 数据集，并在其上测试了一些最近提出的深度生成模型。借助预训练的人脸生成模型和特殊的训练技巧，我仅使用 500 张图片，在单张 RTX 2080ti GPU 上，大约花费 10 小时就训练出了一个分辨率为 256x256 的生成器。

数据准备

我使用了 이말年 aka 침착맨 的网络漫画图片。最初的尝试是在漫画图片上使用简单的人脸检测器，但 OpenCV 提供的人脸级联分类器在这个卡通领域效果不佳。

Nagadomi 的动漫人脸版本 也不行，所以我决定手动标记边界框，最终得到了 500 张卡通人脸图片。由于人脸大小因场景而异，我使用了 基于 CRAN 的卡通超分辨率模型 将小图放大至 256x256 分辨率。

StyleGAN + FreezeD

FreezeD: A Simple Baseline for Fine-tuning GANs 冻结已训练判别器的前几层，并在新数据集上微调模型。我使用了在 FFHQ 数据集上训练的 StyleGAN 模型，在我的环境中，对预训练模型进行 5 万步微调大约花了 10 小时。

[原始代码]

有趣的是，一些原本学到的语义特征在训练早期被映射到了对应的元素上。太阳镜变成了瞪大的眼睛，帽子变成了发带。

FID（Fréchet Inception Distance）在 2 万步后收敛，此后样本质量没有显著提升。以下是训练好的生成器的风格混合结果。每个角色的身份以及面部表情/朝向被很好地解耦了。

StyleGAN2 + ADA

Training Generative Adversarial Networks with Limited Data 在真实图片和生成图片上都使用可微的非泄露数据增强，增强概率根据判别器输出分布自适应选择。通过提出的增强方法，作者成功仅用 1k 张图片训练了生成器。

[原始代码]

在我使用默认设置的实验中，模型崩溃了且无法从头训练中恢复。

从头开始训练：10 万步

从 FFHQ 预训练模型开始，它成功学会了生成逼真的卡通图像。

从 FFHQ 迁移：3 万步

潜在空间探索

GANSpace

GANSpace 采样大量风格向量，并使用激活特征估计主成分轴。

[原始代码]

闭式分解

闭式分解不需要采样。它直接使用第一层仿射层权重的特征方向。

[原始代码]

我发现 gradio 模块对于潜在空间探索非常有用。它允许用户在网页浏览器中交互式地测试深度模型。

seed

hair

mouth

tilt

Meme generation time

       

U-GAT-IT

U-GAT-IT 是一种图像到图像转换方法，在人脸转动漫任务中取得了巨大成功。它使用 CAM 模块提取注意力，使用 AdaLIN 模块学习实例/层归一化平衡。我从 亚洲人脸数据集 中使用了 1000 个样本作为输入人脸。该模型使用带有多个判别器和生成器的循环一致性损失，所以我不得不将图像缩小到 128x128，以便在 11GB 显存中容纳批次大小为 4。

[原始代码]

25 万步

该模型捕捉了脸部的方向和形状，但没有保留详细的属性。这主要是因为 U-GAT-IT 是一种无监督方法，它在两个分布之间寻找一对一映射，但属性在输入和输出域中是不同的。

StyleGAN2 + U-GAT-IT

我将 FFHQ 训练的 StyleGAN2 的输出连接到训练好的 U-GAT-IT 模型，以探索学到的空间。尽管人脸生成模型主要在白人面孔上训练，而图像翻译模型在亚洲面孔上训练，但它们配合得很好。

   
   

结论

• 通过将已在大规模数据上训练好的模型（与小型目标数据集共享相似语义）进行迁移，可以在半天内学会一个 256 分辨率的图像生成模型。
• 由于生成模型本质上学习的是准备数据的分布，训练数据中不存在的特征既不能被学习也不能被生成。如果想训练一个能保留人物特征（如发型、性别等）的无监督图像翻译模型，可能需要准备数据以使特征分布匹配，或者采用仅改变低级纹理的风格迁移方法。一个简单而有效的基线：FreezeG

额外结果

• 曾尝试过 Differentiable Augmentation for Data-Efficient GAN Training，该研究涉及 GAN (生成对抗网络)，但在此情况下，ADA (自适应判别器增强) 似乎效果更好。

Method	FID (Fréchet Inception Distance, 30k 迭代)
Baseline	75.96
FreezeD	50.74
DiffAug	63.74
ADA	46.23
FreezeD + DiffAug	45.24
FreezeD + ADA	38.94

• 从头开始训练：来自 Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis 的 非官方实现 (Unofficial Implementation) 中的轻量级模型在 150k 次迭代后收敛，但 DiffAug (可微分增强) 中使用的操作（cutout、translation）似乎存在信息泄露。

malnyun_faces 快速上手指南

本工具旨在基于深度学习生成模型（如 StyleGAN、U-GAT-IT）对韩国漫画家 침착맨 (Malnyun) 的卡通人脸进行训练和风格迁移。项目整合了多个开源 GAN 模型，支持小样本（500 张图）下的 256x256 分辨率图像生成。

环境准备

• 操作系统: Linux / Windows (推荐 Linux 以获得更好的 GPU 支持)
• 硬件要求:
  • NVIDIA GPU (建议 RTX 2080 Ti 或更高显存)
  • 显存需求：U-GAT-IT 训练建议至少 11GB (batchsize 4 @ 128x128)
• 软件依赖:
  • Python 3.x
  • PyTorch (需匹配 CUDA 版本)
  • OpenCV, NumPy, Pillow 等基础库

提示: 国内开发者建议使用清华源或阿里源安装 PyTorch 以加速下载。

安装步骤

1. 克隆主仓库

   git clone https://github.com/malnyun_faces.git
   cd malnyun_faces
   

2. 安装核心依赖 根据项目需求安装 PyTorch 及相关图像处理库。若需运行特定实验模块，需同时克隆对应的原始代码库：

   • FreezeD: https://github.com/sangwoomo/FreezeD
   • StyleGAN2-pytorch: https://github.com/rosinality/stylegan2-pytorch
   • U-GAT-IT: https://github.com/znxlwm/UGATIT-pytorch

3. 配置虚拟环境

   conda create -n malnyun python=3.8
   conda activate malnyun
   pip install torch torchvision torchaudio
   

数据准备

本项目需要高质量的面部数据集，官方使用了手动标注的 500 张卡通人脸图片。

1. 获取素材: 从 Naver Webtoon 或相关 YouTube 频道下载漫画原图。
2. 人脸检测: 由于通用检测器效果不佳，建议手动标记人脸框或使用 CRAN-based cartoon super-resolution model (Waifu2x) 进行超分处理。
3. 预处理: 将所有人脸图像统一缩放至 256x256 分辨率。

基本使用

1. 模型训练 (推荐 StyleGAN2 + ADA)

根据 README 测试结果，基于 FFHQ 预训练模型微调效果最佳。

# 示例：从 FFHQ 预训练模型开始微调 (参考 rosinality/stylegan2-pytorch)
# 训练步数建议设置为 30k 步左右
python train.py \
    --data ./data/malnyun_faces \
    --pretrained_ffhq \
    --steps 30000 \
    --use_ada

• FreezeD 方案: 冻结判别器前几层，在 50k 步内完成微调，约需 10 小时。
• U-GAT-IT 方案: 用于图像到图像转换，需将输入缩放到 128x128 以适应显存。

2. 潜在空间探索 (Latent Space)

使用 Gradio 模块进行交互式测试，可分离角色身份、表情及方向特征。

# 启动 Gradio 交互界面
python gradio_app.py

• 常用因子: seed, hair, mouth, tilt
• Meme 生成: 结合不同因子 GIF 动图生成趣味内容。

3. 结果评估

关注 FID (Fréchet Inception Distance) 指标。

• Baseline: ~75.96
• FreezeD + ADA: ~38.94 (最优)

注意: 生成模型仅能学习训练数据中存在的分布特征。若需保留特定属性（如发型、性别），需确保训练数据的特征分布一致，或采用风格迁移方法。