SimSwap: 一个高效的高保真人脸交换框架

第28届ACM国际多媒体会议论文集

官方 Pytorch（一种深度学习框架）代码仓库

我们的方法可以使用单个训练好的模型在图像和视频上实现任意人脸交换**。**

我们正在招聘全职工程师。如果你感兴趣，请发送邮件到我的团队。具体招聘条件请参考网站：要求

训练和测试代码现已发布！

我们正在与即将发表的论文 SimSwap++ 合作，敬请期待！

支持高分辨率版本的 SimSwap-HQ！

我们的论文可以从以下链接下载：[Arxiv] [ACM DOI]

本项目还得到了 SocialBook 的支持。

注意事项

本项目仅用于技术和学术用途。请勿将其应用于非法或不道德的场景。

如果用户违反其所在国家或地区的法律和道德要求，此代码仓库将免责。

请不要忽略本 README 文件末尾的内容！

如果你觉得这个项目有用，请给它点个星。这是对我们工作的最大认可。

最新动态

2023-09-26: 我们修复了 Colab 中的错误！

2023-04-25: 我们修复了“AttributeError: 'SGD' 对象没有属性 'defaults'”的错误。如果你已经下载了 arcface_checkpoint.tar，请重新下载。此外，你还需要更新 ./models/ 中的脚本。

2022-04-21: 针对资源有限的用户，我们提供了裁剪后的 VGGFace2-224 数据集 [Google Driver] VGGFace2-224 (10.8G) [Baidu Driver] [密码: lrod]。

2022-04-20: 训练脚本现已可用。我们强烈建议大家使用我们发布的高质量数据集 VGGFace2-HQ 来训练 SimSwap 模型。

2021-11-24: 我们在 VGGFace2-HQ 上训练了一个 SimSwap-HQ 的测试版，并开源了该模型的检查点（如果你认为 Simswap 512 很酷，请为我们的 VGGFace2-HQ 仓库点个星）。别忘了前往 准备 和 图像或视频人脸交换推理 查看最新的设置。

2021-11-23: VGGFace2-HQ 的 Google Drive 链接已发布。

2021-11-17: 我们发布了一个高分辨率人脸数据集 VGGFace2-HQ 以及生成该数据集的方法。该数据集仅供研究使用。

2021-08-30: 已支持 Docker，请参阅这里了解详细信息。

2021-08-17: 我们更新了 准备，主要变化是现在默认安装 onnx 的 GPU 版本，这大大减少了处理视频的时间。

2021-07-19: 明显的边界突兀问题已解决。我们增加了使用掩码的能力并升级了旧算法以获得更好的视觉效果，请参阅 图像或视频人脸交换推理 了解详细信息。别忘了前往 准备 查看最新的设置。（感谢 @woctezuma 和 @instant-high 的帮助）

第一个开源的高分辨率人脸交换数据集！！！

高分辨率数据集 VGGFace2-HQ

依赖项

• python3.6+
• pytorch1.5+
• torchvision
• opencv
• pillow
• numpy
• imageio
• moviepy
• insightface
• timm==0.5.4

训练

准备

训练脚本与原始版本略有不同，例如，我们用投影判别器替换了补丁判别器，这节省了大量的硬件开销并取得了稍好的结果。

为了确保正常训练，批量大小必须大于 1。

温馨提示：由于训练设置的不同，用户训练的模型在视觉效果上会与我们提供的预训练模型有细微差异。

• 使用 VGGFace2 224*224 训练 224 模型 [Google Driver] VGGFace2-224 (10.8G) [Baidu Driver] [密码: lrod]

为了更快的收敛和更好的结果，建议使用较大的批量大小（超过 16）！

我们建议训练超过 400K 次迭代（批量大小为 16），600K~800K 会更好，不建议更多次迭代。

python train.py --name simswap224_test --batchSize 8  --gpu_ids 0 --dataset /path/to/VGGFace2HQ --Gdeep False

[Colab demo for training 224 model]

为了更快的收敛和更好的结果，建议使用较大的批量大小（超过 16）！

• 使用 VGGFace2-HQ 512*512 训练 512 模型 VGGFace2-HQ。

python train.py --name simswap512_test  --batchSize 16  --gpu_ids 0 --dataset /path/to/VGGFace2HQ --Gdeep True

使用预训练的 SimSwap 模型进行推理

准备工作

图像或视频人脸交换的推理

Colab 示例

[用于在多脸视频中切换特定人脸的 Colab]

Replicate 上的图像人脸交换示例和 Docker 镜像

视频

结果

高质量视频可以在以下链接找到：

[Mama(video) 1080p]

[Google Drive 视频1链接]

[Google Drive 视频2链接]

[Google Drive 视频3链接]

[百度网盘视频链接] 密码: b26n

[在线视频]

用户案例

如果你在使用我们的项目后得到了一些有趣的结果并愿意分享，可以通过邮件联系我们，或者直接在 issue 中分享。稍后我们可能会单独开辟一个部分来展示这些结果，应该会很酷。

同时，如果你对我们的项目有任何建议，请随时在 issue 中提问，或者通过邮件直接联系我们：邮箱1, 邮箱2, 邮箱3。（三个邮箱都可以联系，任选其一即可）

许可证

仅限学术和非商业用途。整个项目遵循 CC-BY-NC 4.0 许可证。更多详细信息请参阅 LICENSE。

引用我们的论文

@inproceedings{DBLP:conf/mm/ChenCNG20,
  author    = {Renwang Chen and
               Xuanhong Chen and
               Bingbing Ni and
               Yanhao Ge},
  title     = {SimSwap: An Efficient Framework For High Fidelity Face Swapping},
  booktitle = {{MM} '20: The 28th {ACM} International Conference on Multimedia},
  year      = {2020}
}

@Article{simswapplusplus,
    author  = {Xuanhong Chen and
              Bingbing Ni and
              Yutian Liu and
              Naiyuan Liu and
              Zhilin Zeng and
              Hang Wang},
    title   = {SimSwap++: Towards Faster and High-Quality Identity Swapping},
    journal = {{IEEE} Trans. Pattern Anal. Mach. Intell.},
    volume  = {46},
    number  = {1},
    pages   = {576--592},
    year    = {2024}
}

相关项目

请访问我们另一个 ACMMM2020 高质量风格迁移项目

请访问我们 AAAI2021 基于草图渲染的项目

请访问我们的高分辨率人脸数据集 VGGFace2-HQ

了解我们的其他项目

[VGGFace2-HQ];

[RainNet];

[Sketch Generation];

[CooGAN];

[Knowledge Style Transfer];

[SimSwap];

[ASMA-GAN];

[SNGAN-Projection-pytorch]

[Pretrained_VGG19].

致谢

• Deepfacelab
• Insightface
• Face-parsing.PyTorch
• BiSeNet

SimSwap 快速上手指南

SimSwap 是一个高效的高保真人脸交换框架，支持任意人脸在图像和视频中的替换。

---

环境准备

系统要求

• Python 3.6+
• PyTorch 1.5+
• GPU 推荐（CUDA 支持）

前置依赖

安装以下依赖库：

pip install torch torchvision opencv-python pillow numpy imageio moviepy insightface timm==0.5.4

如果需要使用 Docker，请参考 Replicate AI 提供的镜像。

---

安装步骤

1. 克隆项目代码：

   git clone https://github.com/neuralchen/SimSwap.git
   cd SimSwap
   

2. 下载预训练模型：

   • 访问 Google Drive 或 百度网盘（密码：ummt）。
   • 将下载的模型文件放置到 ./checkpoints/ 目录下。

3. 准备数据集（可选）：

   • 如果需要训练模型，建议使用高质量数据集 VGGFace2-HQ。
   • 数据集下载链接：
     • Google Drive
     • 百度网盘（密码：lrod）

---

基本使用

使用预训练模型进行推理

1. 准备输入图片或视频：

   • 将目标人脸图片和源图片放置在 ./assets/ 目录下。

2. 运行推理脚本：

   python test_one_image.py --isTrain False --name people --Arc_path ./arcface_model/arcface_checkpoint.tar --pic_a_path ./assets/target_face.jpg --pic_b_path ./assets/source_face.jpg --output_path ./results/output.jpg
   

3. 查看结果：

   • 输出文件将保存在 ./results/ 目录下。

视频处理示例

1. 使用 Colab 进行快速体验：

   • 打开 Colab 示例。
   • 按照说明上传视频并运行推理。

2. 处理多脸视频：

   • 使用 MultiSpecific Colab 脚本，支持指定特定人脸替换。

---

注意事项

• 本项目仅限技术研究和学术用途，请勿用于非法或不道德场景。
• 如果您觉得项目有用，请为仓库点星以支持开发者！