U-GAT-IT — 官方 PyTorch 实现

无监督生成注意力网络，结合自适应层实例归一化用于图像到图像的转换

论文 | 官方 TensorFlow 代码

论文中的实验结果来源于 TensorFlow 代码

U-GAT-IT：无监督生成注意力网络，结合自适应层实例归一化用于图像到图像的转换

摘要 我们提出了一种新颖的无监督图像到图像转换方法，该方法以端到端的方式整合了一个新的注意力模块和一个新的可学习归一化函数。注意力模块通过辅助分类器生成的注意力图，引导模型聚焦于区分源域和目标域的更重要区域。与以往基于注意力的方法无法处理域间几何变化不同，我们的模型既能转换需要整体性改变的图像，也能转换需要大幅形状变化的图像。此外，我们提出的 AdaLIN（自适应层实例归一化）函数能够根据数据集的不同，通过学习得到的参数灵活控制形状和纹理的变化程度。实验结果表明，与采用固定网络架构和超参数的现有最先进模型相比，所提出的方法具有显著优势。

使用方法

├── dataset
   └── YOUR_DATASET_NAME
       ├── trainA
           ├── xxx.jpg (名称、格式不限)
           ├── yyy.png
           └── ...
       ├── trainB
           ├── zzz.jpg
           ├── www.png
           └── ...
       ├── testA
           ├── aaa.jpg 
           ├── bbb.png
           └── ...
       └── testB
           ├── ccc.jpg 
           ├── ddd.png
           └── ...

训练

> python main.py --dataset selfie2anime

• 如果 GPU 显存 不足，请将 --light 设置为 True

测试

> python main.py --dataset selfie2anime --phase test

架构

---

结果

消融实验

用户研究

对比

UGATIT-pytorch 快速上手指南

UGATIT (Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization) 是一种用于无监督图像到图像翻译的先进模型。它通过引入注意力模块和自适应层 - 实例归一化（AdaLIN），能够灵活处理需要整体风格变化或大幅形状变化的图像转换任务（如人像转动漫）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需使用 WSL 或类似环境)
• Python: 3.6 或更高版本
• 深度学习框架: PyTorch (建议版本 1.0+)
• GPU: 推荐使用 NVIDIA GPU 以加速训练。若显存较小，可使用 --light 模式。

安装依赖：

建议使用国内镜像源加速安装过程。

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install opencv-python pillow scipy dominate -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库 从 GitHub 获取官方 PyTorch 实现代码：

   git clone https://github.com/taki0112/UGATIT-pytorch.git
   cd UGATIT-pytorch
   

2. 准备数据集 按照以下目录结构组织您的训练和测试数据。文件名和格式（jpg, png 等）不限。

   假设您的数据集名为 selfie2anime，目录结构应如下：

   dataset/
   └── selfie2anime
       ├── trainA          # 源域训练图片 (例如：真人照片)
       │   ├── xxx.jpg
       │   └── ...
       ├── trainB          # 目标域训练图片 (例如：动漫头像)
       │   ├── zzz.jpg
       │   └── ...
       ├── testA           # 源域测试图片
       │   ├── aaa.jpg
       │   └── ...
       └── testB           # 目标域测试图片
           ├── ccc.jpg
           └── ...
   

   注：您可以将整理好的文件夹直接放入项目根目录下的 dataset 文件夹中。

基本使用

1. 训练模型

运行以下命令开始训练。以 selfie2anime 数据集为例：

python main.py --dataset selfie2anime

提示：如果您的 GPU 显存不足（例如小于 11GB），请添加 --light 参数以启用轻量级模式：

python main.py --dataset selfie2anime --light

2. 测试模型

训练完成后（或加载预训练权重后），使用以下命令生成转换后的图像：

python main.py --dataset selfie2anime --phase test

生成的结果图像通常保存在 results 目录中。