U-GAT-IT — TensorFlow 官方实现（ICLR 2020）

：用于图像到图像转换的无监督生成注意力网络，结合自适应层-实例归一化

论文 | 官方 PyTorch 代码

本仓库提供了以下论文的TensorFlow 官方实现：

U-GAT-IT：用于图像到图像转换的无监督生成注意力网络，结合自适应层-实例归一化
Junho Kim（NCSOFT）、Minjae Kim（NCSOFT）、Hyeonwoo Kang（NCSOFT）、Kwanghee Lee（波音韩国）

摘要 我们提出了一种新颖的无监督图像到图像转换方法，该方法以端到端的方式整合了一个新的注意力模块和一个新的可学习归一化函数。注意力模块通过辅助分类器得到的注意力图，引导模型聚焦于区分源域和目标域的重要区域。与以往无法处理域间几何变化的基于注意力的方法不同，我们的模型既可以转换需要整体性改变的图像，也可以转换需要大幅形状变化的图像。此外，我们提出的 AdaLIN（自适应层-实例归一化）函数能够根据数据集的不同，通过学习到的参数灵活控制形状和纹理的变化程度。实验结果表明，与采用固定网络架构和超参数的现有最先进模型相比，所提出的方法具有显著优势。

环境要求

• python == 3.6
• tensorflow == 1.14

预训练模型

我们发布了50轮和100轮的检查点，以便大家更广泛地进行测试。

• selfie2anime 检查点（50轮）
• selfie2anime 检查点（100轮）

数据集

• selfie2anime 数据集

网页

• Selfie2Anime 由 Nathan Glover 开发
• Selfie2Waifu 由 creke 开发

Telegram 机器人

• Selfie2AnimeBot 由 Alex Spirin 开发

使用方法

├── dataset
   └── YOUR_DATASET_NAME
       ├── trainA
           ├── xxx.jpg（文件名和格式不限）
           ├── yyy.png
           └── ...
       ├── trainB
           ├── zzz.jpg
           ├── www.png
           └── ...
       ├── testA
           ├── aaa.jpg 
           ├── bbb.png
           └── ...
       └── testB
           ├── ccc.jpg 
           ├── ddd.png
           └── ...

训练

> python main.py --dataset selfie2anime

• 如果 GPU 显存不足，请将 --light 设置为 True
  • 但性能可能不佳
  • 论文中的版本是 --light 设置为 False

测试

> python main.py --dataset selfie2anime --phase test

架构

---

结果

消融实验

用户研究

核心 Inception 距离（KID）

引用

如果您在研究中使用了本代码，请引用我们的论文：

@inproceedings{
Kim2020U-GAT-IT:,
title={U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation},
author={Junho Kim and Minjae Kim and Hyeonwoo Kang and Kwang Hee Lee},
booktitle={International Conference on Learning Representations},
year={2020},
url={https://openreview.net/forum?id=BJlZ5ySKPH}
}

作者

Junho Kim、Minjae Kim、Hyeonwoo Kang、Kwanghee Lee

U-GAT-IT 快速上手指南

U-GAT-IT (Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization) 是一种用于无监督图像到图像转换的先进模型。它通过引入注意力模块和自适应层 - 实例归一化（AdaLIN），能够灵活处理需要整体变化或大形状变化的图像转换任务（例如：人像转动漫风格）。

环境准备

在开始之前，请确保您的开发环境满足以下严格要求。由于该代码基于较旧版本的 TensorFlow，建议使用虚拟环境以避免依赖冲突。

• 操作系统: Linux 或 macOS (Windows 需配置兼容环境)
• Python: 3.6 (严格版本要求)
• 深度学习框架: TensorFlow 1.14
• GPU: 推荐使用 NVIDIA GPU 以加速训练（若显存不足可使用 --light 模式，但效果可能略降）

安装步骤

1. 克隆项目代码

首先从官方仓库获取源代码：

git clone https://github.com/znxlwm/UGATIT.git
cd UGATIT

2. 创建虚拟环境并安装依赖

由于需要特定的 Python 和 TensorFlow 版本，强烈建议使用 conda 或 venv 进行隔离。

使用 Conda (推荐):

conda create -n ugatit python=3.6
conda activate ugatit
pip install tensorflow-gpu==1.14
# 如果不需要 GPU 支持，可安装: pip install tensorflow==1.14
pip install opencv-python numpy scipy

国内加速方案: 如果您在中国大陆，建议在安装依赖时指定清华或阿里镜像源以提升下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==1.14 opencv-python numpy scipy

3. 准备数据集

将数据集解压并按照以下目录结构放置在 dataset 文件夹下。文件名和格式不限，但需分为训练集 (trainA, trainB) 和测试集 (testA, testB)。

├── dataset
   └── YOUR_DATASET_NAME
       ├── trainA
       │   ├── xxx.jpg
       │   └── ...
       ├── trainB
       │   ├── zzz.jpg
       │   └── ...
       ├── testA
       │   ├── aaa.jpg
       │   └── ...
       └── testB
           ├── ccc.jpg
           └── ...

提示: 您可以下载官方提供的 selfie2anime 数据集 进行测试。如需预训练模型，可从 README 中提供的 Google Drive 链接下载检查点文件放入相应目录。

基本使用

训练模型

使用以下命令开始训练。以下示例使用 selfie2anime 数据集：

python main.py --dataset selfie2anime

• 显存优化: 如果您的 GPU 显存不足，可以添加 --light True 参数。请注意，轻量版模式可能会略微影响生成质量，论文原版使用的是 --light False。

  python main.py --dataset selfie2anime --light True
  

测试模型

训练完成后（或使用下载的预训练模型），运行以下命令进行图像转换测试：

python main.py --dataset selfie2anime --phase test

生成的结果图像通常保存在 result 目录中。