安装

1. 克隆本仓库

git clone https://github.com/sberbank-ai/sber-swap.git
cd sber-swap
git submodule init
git submodule update

2. 安装依赖包

pip install -r requirements.txt

如果无法安装onnxruntime-gpu，请尝试使用onnxruntime替代

3. 下载模型权重

sh download_models.sh

使用

1. Colab演示 ，或者您也可以在本地使用Jupyter Notebook SberSwapInference.ipynb
2. 视频换脸

将视频中的某一个人的脸替换为目标人物。您需要先从目标视频中选定一张人脸（例如，从任意一帧中裁剪出来）。

python inference.py --source_paths {PATH_TO_IMAGE} --target_faces_paths {PATH_TO_IMAGE} --target_video {PATH_TO_VIDEO}

如果要将视频中多个人的脸都替换为目标人物，则需为源图像设置多个待替换的人脸，并对应地指定目标视频中的多个目标人脸。

python inference.py --source_paths {PATH_TO_IMAGE PATH_TO_IMAGE ...} --target_faces_paths {PATH_TO_IMAGE PATH_TO_IMAGE ...} --target_video {PATH_TO_VIDEO}

3. 图像换脸

您可以选择指定一个目标人脸，然后将源图像中的人脸替换为该目标人脸；或者省略此参数，使源图像中的人脸随机替换为图像内的任意一人。

python inference.py --target_path {PATH_TO_IMAGE} --image_to_image True

训练

我们还提供了以下换脸模型的训练代码：

1. 下载VGGFace2数据集。
2. 使用我们的检测模型对人脸进行裁剪和对齐。

python preprocess_vgg.py --path_to_dataset {PATH_TO_DATASET} --save_path {SAVE_PATH}

3. 开始训练。

python train.py --run_name {YOUR_RUN_NAME}

我们为训练过程提供了多种可选配置。有关每个选项的详细信息，请参阅train.py文件。如果您希望使用wandb记录实验过程，需先登录wandb：--wandb login。

小贴士

1. 对于初始几轮训练，如果从头开始训练，建议不要启用眼部检测损失和学习率调度器。
2. 在微调阶段，您可以调整损失函数的权重，使输出结果更接近源身份特征，或者相反，更好地保留目标人脸的特征和属性。
3. 您可以通过--backbone和--num_blocks参数来更改属性编码器的主干网络以及AAD ResBlk模块的数量。
4. 在微调阶段，您可以使用位于weights文件夹中的生成器和判别器预训练权重。我们提供了采用U-Net主干网络以及AAD ResBlk模块数量为1至3个的模型权重。其中，主模型架构包含2个AAD ResBlk模块。

引用

如果您在研究中使用了我们的模型，我们诚挚地希望您能采用以下引用方式：

BibTeX 引用

@article{9851423,  
         author={Groshev, Alexander and Maltseva, Anastasia and Chesakov, Daniil and Kuznetsov, Andrey and Dimitrov, Denis},  
         journal={IEEE Access},   
         title={GHOST—一种面向图像和视频领域的新型人脸交换方法},   
         year={2022},  
         volume={10},  
         number={},  
         pages={83452-83462},  
         doi={10.1109/ACCESS.2022.3196668}
}

通用引用

A. Groshev, A. Maltseva, D. Chesakov, A. Kuznetsov 和 D. Dimitrov，“GHOST—一种面向图像和视频领域的新型人脸交换方法”，载于《IEEE Access》，第10卷，第83452–83462页，2022年，doi: 10.1109/ACCESS.2022.3196668。

git clone https://github.com/sberbank-ai/sber-swap.git
cd sber-swap
git submodule init
git submodule update

# 使用国内镜像源加速安装
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple

sh download_models.sh

python inference.py --source_paths {PATH_TO_IMAGE} --target_faces_paths {PATH_TO_IMAGE} --target_video {PATH_TO_VIDEO}

python inference.py --target_path {PATH_TO_IMAGE} --image_to_image True