FSGAN - 官方 PyTorch 实现

示例视频人脸交换：巴拉克·奥巴马换为本雅明·内塔尼亚胡，安倍晋三换为特雷莎·梅，以及习近平换为贾斯廷·特鲁多。

本仓库包含论文中描述的视频人脸交换与人脸重演方法的源代码：

FSGAN：主体无关的人脸交换与重演
国际计算机视觉会议（ICCV），韩国首尔，2019年
Yuval Nirkin、Yosi Keller、Tal Hassner
论文   视频

摘要： 我们提出了用于人脸交换和重演的 Face Swapping GAN（FSGAN）。与先前的工作不同，FSGAN 是主体无关的，无需针对特定人脸进行训练即可应用于任意两个人脸对。为此，我们提出了一系列技术贡献。我们设计了一种基于循环神经网络（RNN）的新型人脸重演方法，该方法能够适应姿态和表情的变化，并可应用于单张图像或视频序列。对于视频序列，我们引入了基于重演结果、Delaunay 三角剖分和重心坐标的连续视图插值技术。对于被遮挡的人脸区域，我们使用了一个人脸补全网络来处理。最后，我们采用一个人脸融合网络，实现两幅人脸的无缝融合，同时保持目标皮肤颜色和光照条件。该网络使用了一种新颖的泊松融合损失函数，将泊松优化与感知损失相结合。我们将我们的方法与现有的最先进系统进行了比较，结果表明无论从定性还是定量角度来看，我们的方法都更为优越。

重要提示

本仓库提供的方法不得用于恶意或不当用途。
我们发布此代码旨在帮助推动针对此类伪造技术的技术性反制措施的研究。压制此类研究成果并不能阻止其发展，反而会使检测变得更加困难。

请注意，这仍处于开发阶段。尽管我们竭尽全力改进该方法的效果，但并非所有的人脸对都能生成高质量的人脸交换结果。

系统要求

• 配备至少 11GB 显存的高端 NVIDIA GPU。
• 支持 Linux 或 Windows 操作系统。为获得更好的性能，建议使用 Linux。
• CUDA Toolkit 10.1+、CUDNN 7.5+ 以及最新版本的 NVIDIA 驱动程序。

安装

git clone https://github.com/YuvalNirkin/fsgan
cd fsgan
conda env create -f fsgan_env.yml
conda activate fsgan
pip install .    # 或者将仓库根目录添加到 PYTHONPATH。

运行以下命令以下载 FSGAN 的预训练模型：

python download_fsgan_models.py   # 从仓库根目录执行

推理

• 人脸交换指南
• 人脸交换 Google Colab 笔记本
• 论文模型指南

训练

• 训练 V2 指南

在 FaceForensics++ 上的对比

为了便于与 FSGAN 进行比较，我们已在 FaceForensics++ 数据集上提供了 FSGAN（原始论文）在 C23 和 C40 压缩下的结果：

• FaceForensics++ FSGANv1 C40
• FaceForensics++ FSGANv1 C23（第1部分）
• FaceForensics++ FSGANv1 C23（第2部分）

引用

@inproceedings{nirkin2019fsgan,
  title={{FSGAN}: 主体无关的人脸交换与重演},
  author={Nirkin, Yuval 和 Keller, Yosi 和 Hassner, Tal},
  booktitle={IEEE 国际计算机视觉会议论文集},
  pages={7184--7193},
  year={2019}
}

@inproceedings{nirkin2022fsganv2,
  title={{FSGANv2}: 改进的主体无关的人脸交换与重演},
  author={Nirkin, Yuval 和 Keller, Yosi 和 Hassner, Tal},
  journal={IEEE 模式分析与机器智能汇刊},
  year={2022},
  publisher={IEEE}
}

FSGAN 快速上手指南

FSGAN (Face Swapping GAN) 是一个与主体无关的人脸交换和重演工具，无需针对特定人脸进行训练即可处理任意人脸对。本项目基于 PyTorch 实现，支持视频级的人脸替换。

⚠️ 重要提示：本代码仅供学术研究及开发检测伪造技术的反制措施使用。严禁将其用于恶意或不适当的场景（如制作虚假新闻、侵犯肖像权等）。

1. 环境准备

在开始之前，请确保您的系统满足以下硬件和软件要求：

• 操作系统：推荐 Linux（性能更佳），支持 Windows。
• GPU：高端 NVIDIA 显卡，显存至少 11GB。
• 驱动与工具包：
  • NVIDIA 驱动程序（最新版）
  • CUDA Toolkit 10.1+
  • cuDNN 7.5+
• 依赖管理：需安装 Conda (Miniconda 或 Anaconda)。

2. 安装步骤

请依次执行以下命令来克隆仓库、创建虚拟环境并安装依赖。

# 1. 克隆项目代码
git clone https://github.com/YuvalNirkin/fsgan
cd fsgan

# 2. 创建 Conda 环境 (根据 fsgan_env.yml 配置)
conda env create -f fsgan_env.yml

# 3. 激活环境
conda activate fsgan

# 4. 安装项目包
pip install .
# 或者将仓库根目录添加到 PYTHONPATH 环境变量中

下载预训练模型

安装完成后，运行以下脚本自动下载 FSGAN 所需的预训练模型：

python download_fsgan_models.py

(注：如果下载速度较慢，可尝试手动从 GitHub Release 页面下载模型文件并放置到对应目录)

3. 基本使用

FSGAN 提供了多种推理方式，最简单的入门方式是使用官方提供的 Google Colab 笔记本或参考 Wiki 指南进行本地命令行操作。

方式一：使用 Google Colab (推荐新手)

无需配置本地环境，直接在浏览器中运行：

• Face swapping Google Colab

方式二：本地命令行推理

完整的命令行参数和用法请参考官方 Wiki 文档：

• 人脸交换推理指南 (Face Swapping Guide)
• 论文模型推理指南 (Paper Models Guide)

典型的使用场景是提供一张源人脸图片（Source）和一个目标视频（Target），生成源人脸替换目标视频中人脸的新视频。

---

引用本文工作请参考：Nirkin et al., "FSGAN: Subject Agnostic Face Swapping and Reenactment", ICCV 2019.