FaceShifter — 非官方 PyTorch 实现

基于 Pytorch-Lightning 的 FaceShifter: 高保真且考虑遮挡的人脸交换 的非官方实现。论文中提出了用于完整流水线的两个网络：AEI-Net 和 HEAR-Net。我们仅实现了主要用于人脸交换的 AEI-Net。

欢迎查看 HifiFace，这是我们对更近期人脸交换模型的实现。

数据集

数据准备

您需要下载并解压以下数据集：

• FFHQ
• CelebA-HQ（非官方下载脚本）
• VGGFace（非官方下载脚本）

数据预处理

预处理代码主要基于 NVIDIA 的 FFHQ 预处理代码。您可以使用我们的 preprocess 脚本，并结合多进程功能来显著加快预处理速度。

# 从 Dockerfile 构建镜像
docker build -t dlib:0.0 ./preprocess
# 从镜像运行容器
docker run -itd --ipc host -v /PATH_TO_THIS_FOLDER/preprocess:/workspace -v /PATH_TO_THE_DATA:/DATA -v /PATH_TO_SAVE_DATASET:/RESULT --name dlib --tag dlib:0.0
# 进入容器
docker attach dlib
# 使用 dlib 进行预处理
python preprocess.py --root /DATA --output_dir /RESULT

训练

配置

在 config 文件夹中有一个 yaml 配置文件。务必根据您的训练需求（数据集、元数据等）进行修改。

• config/train.yaml：用于训练 AEI-Net 的配置。
  • 填写 dataset_dir 和 valset_dir 空缺。
  • 您可能还需要调整 batch_size（针对非 32GB V100 显卡）或 chkpt_dir（将检查点保存到其他磁盘）。

使用 Docker

我们提供了一个 Dockerfile，以便更轻松地搭建训练环境。

docker build -t faceshifter:0.0 .
docker run -itd --ipc host --gpus all -v /PATH_TO_THIS_FOLDER:/workspace -v /PATH_TO_DATASET:/DATA --name FS --tag faceshifter:0.0
docker attach FS

预训练的 Arcface

在训练过程中，需要使用预训练的 Arcface 模型。我们提供了预训练的 Arcface 模型，您可以通过此链接下载：点击下载

命令

要训练 AEI-Net，请运行以下命令：

python aei_trainer.py -c <path_to_config_yaml> -g <gpus> -n <run_name>
# 示例命令，帮助理解参数：
# 从头开始训练，命名为 "my_runname"
python aei_trainer.py -c config/train.yaml -g 0 -n my_runname

可选地，您可以通过添加 -p <checkpoint_path> 参数从之前保存的检查点继续训练。

使用 TensorBoard 监控

训练进度、损失值和验证输出都可以通过 TensorBoard 进行监控。默认情况下，日志会存储在 log 目录下，您可以通过编辑 config/train.yaml 中的 log.log_dir 参数来更改存储路径。

tensorboard --log_dir log --bind_all # 将显示标量、图像、超参数和投影仪视图。

推理

要对 AEI-Net 进行推理，请运行以下命令：

python aei_inference.py --checkpoint_path <path_to_pre_trained_file> --target_image <path_to_target_image_file> --source_image <path_to_source_image_file> --output_path <path_to_output_image_file> --gpu_num <number of gpu>
# 示例命令，帮助理解参数：
# 使用检查点 chkpt/my_runname/epoch=0.ckpt，目标图为 target.png，源图为 source.png，输出图为 output.png，使用 GPU 0 号
python aei_inference.py --checkpoint_path chkpt/my_runname/epoch=0.ckpt --target_image target.png --source_image source.png --output_path output.png --gpu_num 0

我们还提供了 Colab 示例，您可以使用它并加载自己的训练权重。

结果

与原论文结果的对比

原论文中的图示

我们的实验结果

请注意，我们__仅实现了 AEI-Net__，而原论文中的结果是由 AEI-Net 和 HEAR-Net 共同生成的。

我们很快将在我们的云 API 服务 maum.ai 上发布 FaceShifter。

许可证

BSD 3-Clause 许可证。

实现作者

Changho Choi @ MINDs Lab, Inc. (changho@mindslab.ai)

论文信息

@article{li2019faceshifter,
  title={Faceshifter: Towards high fidelity and occlusion aware face swapping},
  author={Li, Lingzhi and Bao, Jianmin and Yang, Hao and Chen, Dong and Wen, Fang},
  journal={arXiv preprint arXiv:1912.13457},
  year={2019}
}

FaceShifter 快速上手指南

FaceShifter 是一个高保真且具备遮挡感知能力的人脸交换模型。本指南基于其非官方 PyTorch 实现（仅包含核心的 AEI-Net 网络），帮助开发者快速搭建环境并运行推理。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• GPU: 支持 CUDA 的 NVIDIA 显卡 (建议显存 ≥ 8GB，训练需更高)
• Docker: 强烈建议使用 Docker 部署以避免依赖冲突

前置依赖与数据

在开始之前，请准备好以下数据集并下载预训练权重：

1. 数据集: 需自行下载并解压 FFHQ, CelebA-HQ, VGGFace。
2. 预训练 Arcface 模型: 训练过程必需。
   • 下载地址: Google Drive Link
   • 注：国内用户若无法访问 Google Drive，请自行寻找 Arcface 预训练权重替代。

2. 安装步骤

本项目推荐使用 Docker 进行环境构建和数据处理，以确保一致性。

步骤一：克隆代码

git clone https://github.com/mindslab-ai/faceshifter.git
cd faceshifter

步骤二：数据预处理 (可选，如需重新训练)

如果需要使用自定义数据或重新预处理，请构建预处理镜像并运行：

# 构建预处理镜像
docker build -t dlib:0.0 ./preprocess

# 运行容器 (请替换路径为实际数据路径)
docker run -itd --ipc host -v $(pwd)/preprocess:/workspace -v /PATH_TO_THE_DATA:/DATA -v /PATH_TO_SAVE_DATASET:/RESULT --name dlib --tag dlib:0.0

# 进入容器执行预处理
docker attach dlib
python preprocess.py --root /DATA --output_dir /RESULT

步骤三：构建训练/推理环境

构建主程序所需的 Docker 镜像：

docker build -t faceshifter:0.0 .

启动容器并挂载必要目录：

# 请替换 /PATH_TO_THIS_FOLDER 为当前项目绝对路径，/PATH_TO_DATASET 为数据集路径
docker run -itd --ipc host --gpus all -v $(pwd):/workspace -v /PATH_TO_DATASET:/DATA --name FS --tag faceshifter:0.0

# 进入容器
docker attach FS

步骤四：配置文件调整

进入容器后，编辑 config/train.yaml 以匹配你的环境：

• 修改 dataset_dir 和 valset_dir 指向实际数据路径。
• 根据显存大小调整 batch_size。
• 确认 chkpt_dir 用于保存模型检查点。

3. 基本使用

场景 A：模型推理 (Face Swapping)

假设你已经拥有训练好的检查点文件（.ckpt），或者想测试提供的示例权重。

命令示例：

python aei_inference.py --checkpoint_path chkpt/my_runname/epoch=0.ckpt --target_image target.png --source_image source.png --output_path output.png --gpu_num 0

参数说明：

• --checkpoint_path: 预训练模型或你自己训练的 .ckpt 文件路径。
• --target_image: 目标图像（提供姿态和表情的人脸）。
• --source_image: 源图像（提供身份特征的人脸）。
• --output_path: 换脸后的输出图片路径。
• --gpu_num: 使用的 GPU 编号。

提示: 你也可以直接使用官方提供的 Colab 示例进行快速体验：FaceShifter Colab

场景 B：开始训练 (可选)

如果你需要从头训练 AEI-Net：

python aei_trainer.py -c config/train.yaml -g 0 -n my_runname

• -c: 配置文件路径。
• -g: 使用的 GPU ID。
• -n: 本次运行的名称（用于区分日志和检查点）。

断点续训：

python aei_trainer.py -c config/train.yaml -g 0 -n my_runname -p <checkpoint_path>

监控训练进度： 在另一个终端窗口运行 Tensorboard：

tensorboard --log_dir log --bind_all

然后在浏览器访问对应端口查看 Loss 曲线和验证集生成效果。

---

注意：本实现仅包含论文中的 AEI-Net（人脸交换核心网络），不包含 HEAR-Net（遮挡修复网络），因此部分极端遮挡情况下的效果可能与原论文略有差异。