TP-GAN

这是 ICCV17 论文“超越人脸旋转：用于照片级真实感且保持身份一致的正面视图合成的全局与局部感知 GAN”（作者：Huang, Rui、Zhang, Shu、Li, Tianyu 和 He, Ran）的官方 TP-GAN TensorFlow 实现。该论文发表于 http://openaccess.thecvf.com/content_ICCV_2017/papers/Huang_Beyond_Face_Rotation_ICCV_2017_paper.pdf。

目标是 从任意姿态的单张人脸图像中恢复出同一人的正面人脸图像。

以下是论文中的示例图片：

测试图像

在 MultiPIE 数据集的设置 2 中，所有姿态及对应光照条件下的合成测试图像（以及其裁剪后的输入）可在此处获取：Google Drive。

常见问题解答：合成的（而非原始的）其他光照条件和/或训练集的图像可根据需求提供。遗憾的是，由于版权限制，我无法重新分发原始数据集。如需访问原始 MultiPIE 数据集，请联系 MultiPIE。

随机示例

以下是每个角度的 10 对随机测试图像示例。

15 度和 30 度：

45 度和 60 度：

75 度和 90 度：

注意事项

本代码最初使用 TensorFlow 0.12 编写。如果您使用了其他版本实现，欢迎在此处引用。

此为代码的初始版本，可能尚未经过全面测试。

输入图像通过 MATLAB 脚本 face_db_align_single_custom.m 进行裁剪，该脚本接受 5 个关键点并输出裁剪后的图像及变换后的关键点。

示例裁剪结果位于 data-example 文件夹中。

我们的 90 度模型仅使用 45–90 度图像进行训练。而我们训练的其他模型并未使用 90 度图像。90 度图像的左右眼区域存在重叠。

这 5 个关键点可从现成的地标检测器中提取，例如 Zhang 等人于 2016 年提出的“结合数据驱动与模型驱动方法的鲁棒人脸地标检测”。使用这些自动检测的关键点与手动标注的关键点相比，合成效果相似。已发布的关键点文件如下。

我们感谢 Xiang Wu 提供的 人脸特征网络。我们在代码中将其加载为 DeepFace，其权重来自自定义的 Light-CNN cafeemodel 文件。我们的实现借鉴了 dcgan 仓库中的部分代码。

更新 0.11：

• 发布 MultiPIE Session 1–4 数据集的 5 个关键点位置。请从 此处下载。其中大部分 60–90 度图像由人工标注，其余则来自 MTCNNv2 检测器。如果您喜欢这项工作，请考虑引用我们的论文。
• 添加 Light-CNN 的 DeepFace168.pickle 权重文件。请注意，这比实验中最初使用的版本有所改进。

引用与联系方式

如果您喜欢我们的工作或认为我们的代码有用，请引用我们的论文！

任何建议和/或评论都将非常有价值。请发送邮件至 Rui Huang 的邮箱 huangrui@cmu.edu 或其他作者。

  @InProceedings{Huang_2017_ICCV,
  author = {Huang, Rui and Zhang, Shu and Li, Tianyu and He, Ran},
  title = {Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis},
  booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
  month = {Oct},
  year = {2017}
  }

许可协议

本代码可供非商业用途免费使用，并可在许可协议规定的条件下重新分发。详情请参阅 许可证。如需商业用途，请联系 Rui Huang 和 Ran He。

TP-GAN 快速上手指南

TP-GAN 是一个基于 TensorFlow 的生成对抗网络（GAN），旨在从任意姿态的单张人脸图像中合成具有照片级真实感且保留身份信息的正面人脸图像。本项目是 ICCV 2017 论文《Beyond Face Rotation》的官方实现。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需自行配置兼容环境)
• Python: 建议 Python 3.x (原代码基于 TensorFlow 0.12 编写，现代环境可能需要适配或使用兼容版本)
• 深度学习框架: TensorFlow (推荐版本 0.12 - 1.x，若使用新版 TF 需修改代码以适配 tf.compat 或重写部分 API)
• 前置依赖:
  • numpy
  • scipy
  • matplotlib
  • Pillow
  • h5py
• 数据处理工具: MATLAB (用于运行面部裁剪脚本 face_db_align_single_custom.m)
• 硬件: 推荐使用 NVIDIA GPU 以加速训练和推理过程

安装步骤

1. 克隆仓库 将项目代码克隆到本地：

   git clone https://github.com/HRLTY/TP-GAN.git
   cd TP-GAN
   

2. 安装 Python 依赖 创建虚拟环境并安装所需库（假设已安装 pip）：

   pip install -r requirements.txt
   

   注：若仓库中无 requirements.txt，请手动安装上述列出的前置依赖包。

3. 下载预训练模型与数据

   • 关键点数据: 下载 MultiPIE 数据集的 5 个关键点坐标文件 Google Drive 链接。
   • DeepFace 权重: 下载改进版的 Light-CNN 权重文件 DeepFace168.pickle (通常在发布页或联系作者获取)。
   • 测试图像: 如需测试合成效果，可从 Google Drive 下载合成的测试图像示例。

   将下载的文件放置在代码指定的目录中（通常为 data/ 或 checkpoint/，具体请参考代码中的路径配置）。

4. 准备输入数据 (可选) 如果您有自己的数据集，需要使用提供的 MATLAB 脚本进行预处理。该脚本接受 5 个关键点，输出裁剪后的人脸图像和变换后的关键点。

   • 脚本路径：face_db_align_single_custom.m
   • 示例输出参考：data-example 文件夹

基本使用

由于这是一个研究性质的初始代码发布，具体的运行命令可能依赖于您配置的模型路径和数据集结构。以下是通用的使用逻辑：

1. 配置路径 在主程序或配置文件中，设置以下路径：

   • 预训练模型权重路径 (.pickle 或 .ckpt 文件)
   • 输入图像或关键点数据路径
   • 输出保存路径

2. 运行推理/测试 根据项目结构，通常运行类似以下的命令进行测试（具体文件名请以仓库实际入口为准，例如 test.py 或 main.py）：

   python main.py --phase=test --model_dir=./checkpoint --data_dir=./data
   

   注意：原代码基于 TensorFlow 0.12。如果您使用的是较新版本的 TensorFlow，可能会遇到 API 不兼容问题。您可能需要：

   • 安装 TensorFlow 1.x 版本 (如 pip install tensorflow==1.15)
   • 或者手动修改代码中将 tf.variable_scope, tf.get_variable 等旧 API 迁移至新版本语法。

3. 查看结果 运行完成后，生成的正面人脸图像将保存在指定的输出目录中。您可以对比输入的非正面图像与合成的正面图像，评估姿态校正和身份保留的效果。

---

提示：本指南基于官方 README 整理。由于代码较早，建议在运行前仔细检查 main.py 或相关脚本中的参数定义，以确保路径和配置正确。