旧照片修复（官方 PyTorch 实现）

项目页面 | 论文（CVPR 版） | 论文（期刊版） | 预训练模型 | Colab 演示 | Replicate 演示 & Docker 镜像 :fire:

让旧照片重焕生机，CVPR2020（口头报告）

基于深度潜在空间翻译的旧照片修复，TPAMI 2022

Ziyu Wan¹, Bo Zhang², Dongdong Chen³, Pan Zhang⁴, Dong Chen², Jing Liao¹, Fang Wen^2
1香港城市大学, ²微软亚洲研究院, ³微软云人工智能, ⁴中国科学技术大学

:sparkles: 最新消息

2022年3月31日：我们关于老电影修复的新工作将在 CVPR 2022 上发表。更多详情请参阅 项目网站 和 GitHub 仓库。

该框架现已支持高分辨率输入的修复。

训练代码已开放，欢迎大家尝试并学习训练细节。

现在您可以通过我们的 Colab 直接在自己的照片上试用。

系统要求

代码已在安装了 Nvidia GPU 和 CUDA 的 Ubuntu 系统上测试通过。运行代码需要 Python>=3.6。

安装

克隆 Synchronized-BatchNorm-PyTorch 仓库以获取同步批归一化模块：

cd Face_Enhancement/models/networks/
git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../../

cd Global/detection_models
git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../

下载地标检测预训练模型：

cd Face_Detection/
wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
cd ../

下载预训练模型，将 Face_Enhancement/checkpoints.zip 文件放入 ./Face_Enhancement 目录下，将 Global/checkpoints.zip 文件放入 ./Global 目录下，然后分别解压。

cd Face_Enhancement/
wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/face_checkpoints.zip
unzip face_checkpoints.zip
cd ../
cd Global/
wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/global_checkpoints.zip
unzip global_checkpoints.zip
cd ../

安装依赖：

pip install -r requirements.txt

:rocket: 使用方法？

注意：GPU 可设置为 0 或 0,1,2 或 0,2；使用 -1 表示 CPU。

1) 全流程

安装并下载预训练模型后，只需一条简单命令即可轻松修复旧照片。

对于无划痕的图像：

python run.py --input_folder [测试图像文件夹路径] \
              --output_folder [输出路径] \
              --GPU 0

对于有划痕的图像：

python run.py --input_folder [测试图像文件夹路径] \
              --output_folder [输出路径] \
              --GPU 0 \
              --with_scratch

对于带有划痕的高分辨率图像：

python run.py --input_folder [测试图像文件夹路径] \
              --output_folder [输出路径] \
              --GPU 0 \
              --with_scratch \
              --HR

注意：请尽量使用绝对路径。最终结果将保存在 ./output_path/final_output/ 中。您也可以在 output_path 中查看各步骤的中间结果。

2) 划痕检测

目前我们暂不计划直接发布带标签的旧照片划痕数据集。如果您希望获得配对数据，可以使用我们的预训练模型对收集到的图像进行测试，从而获取标签。

cd Global/
python detection.py --test_path [测试图像文件夹路径] \
                    --output_dir [输出路径] \
                    --input_size [resize_256|full_size|scale_256]

3) 全局修复

我们提出了一种三元域转换网络，用于同时解决旧照片中的结构化退化和非结构化退化问题。

cd Global/
python test.py --Scratch_and_Quality_restore \
               --test_input [测试图像文件夹路径] \
               --test_mask [对应掩码] \
               --outputs_dir [输出路径]

python test.py --Quality_restore \
               --test_input [测试图像文件夹路径] \
               --outputs_dir [输出路径]

4) 人脸增强

我们使用渐进式生成器来细化旧照片中的人脸区域。更多细节请参阅我们的期刊投稿以及 ./Face_Enhancement 文件夹。

注： 此仓库主要用于研究目的，我们尚未优化运行性能。

由于模型是基于 256*256 分辨率的图像预训练的，因此对于任意分辨率的图像，模型可能无法达到理想效果。

5) GUI 界面

一个用户友好的图形界面，允许用户输入图像并在相应窗口中显示结果。

使用方法：

1. 运行 GUI.py 文件。
2. 点击“浏览”按钮，从 test_images/old_w_scratch 文件夹中选择您的图像以去除划痕。
3. 点击“修改照片”按钮。
4. 等待片刻，即可在 GUI 窗口中看到结果。
5. 点击“退出窗口”按钮关闭窗口，并在输出文件夹中获取您的结果图像。

如何训练？

1) 创建训练文件

将 VOC 数据集的文件夹以及收集的旧照片（例如 Real_L_old 和 Real_RGB_old）放入一个共享文件夹中。然后执行以下命令：

cd Global/data/
python Create_Bigfile.py

注意：请根据您自己的环境修改代码。

2) 分别训练域 A 和域 B 的 VAE

cd ..
python train_domain_A.py --use_v2_degradation --continue_train --training_dataset domain_A --name domainA_SR_old_photos --label_nc 0 --loadSize 256 --fineSize 256 --dataroot [your_data_folder] --no_instance --resize_or_crop crop_only --batchSize 100 --no_html --gpu_ids 0,1,2,3 --self_gen --nThreads 4 --n_downsample_global 3 --k_size 4 --use_v2 --mc 64 --start_r 1 --kl 1 --no_cgan --outputs_dir [your_output_folder] --checkpoints_dir [your_ckpt_folder]

python train_domain_B.py --continue_train --training_dataset domain_B --name domainB_old_photos --label_nc 0 --loadSize 256 --fineSize 256 --dataroot [your_data_folder]  --no_instance --resize_or_crop crop_only --batchSize 120 --no_html --gpu_ids 0,1,2,3 --self_gen --nThreads 4 --n_downsample_global 3 --k_size 4 --use_v2 --mc 64 --start_r 1 --kl 1 --no_cgan --outputs_dir [your_output_folder]  --checkpoints_dir [your_ckpt_folder]

注意：对于 --name 参数，请确保您的实验名称包含 "domainA" 或 "domainB"，这将用于选择不同的数据集。

3) 训练域间映射网络

训练无划痕的映射：

python train_mapping.py --use_v2_degradation --training_dataset mapping --use_vae_which_epoch 200 --continue_train --name mapping_quality --label_nc 0 --loadSize 256 --fineSize 256 --dataroot [your_data_folder] --no_instance --resize_or_crop crop_only --batchSize 80 --no_html --gpu_ids 0,1,2,3 --nThreads 8 --load_pretrainA [ckpt_of_domainA_SR_old_photos] --load_pretrainB [ckpt_of_domainB_old_photos] --l2_feat 60 --n_downsample_global 3 --mc 64 --k_size 4 --start_r 1 --mapping_n_block 6 --map_mc 512 --use_l1_feat --niter 150 --niter_decay 100 --outputs_dir [your_output_folder] --checkpoints_dir [your_ckpt_folder]

训练带划痕的映射：

python train_mapping.py --no_TTUR --NL_res --random_hole --use_SN --correlation_renormalize --training_dataset mapping --NL_use_mask --NL_fusion_method combine --non_local Setting_42 --use_v2_degradation --use_vae_which_epoch 200 --continue_train --name mapping_scratch --label_nc 0 --loadSize 256 --fineSize 256 --dataroot [your_data_folder] --no_instance --resize_or_crop crop_only --batchSize 36 --no_html --gpu_ids 0,1,2,3 --nThreads 8 --load_pretrainA [ckpt_of_domainA_SR_old_photos] --load_pretrainB [ckpt_of_domainB_old_photos] --l2_feat 60 --n_downsample_global 3 --mc 64 --k_size 4 --start_r 1 --mapping_n_block 6 --map_mc 512 --use_l1_feat --niter 150 --niter_decay 100 --outputs_dir [your_output_folder] --checkpoints_dir [your_ckpt_folder] --irregular_mask [absolute_path_of_mask_file]

训练带划痕的映射（针对高分辨率输入的多尺度补丁注意力）：

python train_mapping.py --no_TTUR --NL_res --random_hole --use_SN --correlation_renormalize --training_dataset mapping --NL_use_mask --NL_fusion_method combine --non_local Setting_42 --use_v2_degradation --use_vae_which_epoch 200 --continue_train --name mapping_Patch_Attention --label_nc 0 --loadSize 256 --fineSize 256 --dataroot [your_data_folder] --no_instance --resize_or_crop crop_only --batchSize 36 --no_html --gpu_ids 0,1,2,3 --nThreads 8 --load_pretrainA [ckpt_of_domainA_SR_old_photos] --load_pretrainB [ckpt_of_domainB_old_photos] --l2_feat 60 --n_downsample_global 3 --mc 64 --k_size 4 --start_r 1 --mapping_n_block 6 --map_mc 512 --use_l1_feat --niter 150 --niter_decay 100 --outputs_dir [your_output_folder] --checkpoints_dir [your_ckpt_folder] --irregular_mask [absolute_path_of_mask_file] --mapping_exp 1

引用

如果您发现我们的工作对您的研究有所帮助，请考虑引用以下论文 :)

@inproceedings{wan2020bringing,
title={Bringing Old Photos Back to Life},
author={Wan, Ziyu and Zhang, Bo and Chen, Dongdong and Zhang, Pan and Chen, Dong and Liao, Jing and Wen, Fang},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
pages={2747--2757},
year={2020}
}

@article{wan2020old,
  title={Old Photo Restoration via Deep Latent Space Translation},
  author={Wan, Ziyu and Zhang, Bo and Chen, Dongdong and Zhang, Pan and Chen, Dong and Liao, Jing and Wen, Fang},
  journal={arXiv preprint arXiv:2009.07047},
  year={2020}
}

如果您也对老照片/视频的上色感兴趣，请参阅这项工作。

维护

该项目目前由 Ziyu Wan 维护，仅供学术研究使用。如有任何问题，请随时联系 raywzy@gmail.com。

许可证

本仓库中的代码和预训练模型均采用 MIT 许可证，具体见 LICENSE 文件。我们使用自有标注数据集来训练划痕检测模型。

本项目已采纳 Microsoft 开源行为准则。更多信息请参阅 行为准则常见问题解答，或通过 opencode@microsoft.com 联系我们，提出任何其他问题或意见。

Bringing-Old-Photos-Back-to-Life 快速上手指南

本指南帮助开发者快速部署并使用该工具修复老照片（去划痕、增强画质、人脸修复）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• 硬件: NVIDIA GPU (已安装 CUDA 驱动)
• 软件依赖:
  • Python >= 3.6
  • Git
  • pip

注意：代码主要在 Ubuntu + Nvidia GPU 环境下测试通过。虽然支持 CPU 运行（使用 -1 参数），但推理速度会非常慢，强烈建议使用 GPU。

安装步骤

1. 克隆项目并安装基础依赖

git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git
cd Bringing-Old-Photos-Back-to-Life
pip install -r requirements.txt

(国内用户若下载依赖缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华源)

2. 安装同步批归一化模块 (Synchronized-BatchNorm)

需要分别在两个目录下克隆并配置该模块：

# 配置 Face_Enhancement 模块
cd Face_Enhancement/models/networks/
git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../../

# 配置 Global 模块
cd Global/detection_models
git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../

3. 下载人脸关键点检测模型

cd Face_Detection/
wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
cd ../

(若 dlib.net 下载失败，请自行搜索该文件 shape_predictor_68_face_landmarks.dat 并放入 Face_Detection/ 目录)

4. 下载预训练模型

下载检查点文件并解压到对应目录：

# 下载并解压人脸增强模型
cd Face_Enhancement/
wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/face_checkpoints.zip
unzip face_checkpoints.zip
cd ../

# 下载并解压全局修复模型
cd Global/
wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/global_checkpoints.zip
unzip global_checkpoints.zip
cd ../

(若 GitHub 下载速度慢，建议手动在浏览器下载上述 zip 文件后上传至服务器对应目录)

基本使用

安装完成后，即可通过一条命令修复照片。请准备好包含老照片的文件夹。

参数说明：

• --input_folder: 输入图片文件夹路径（建议使用绝对路径）
• --output_folder: 输出结果文件夹路径
• --GPU: 指定 GPU 编号（如 0 或 0,1），若使用 CPU 则设为 -1

场景 1：修复无划痕的老照片（仅画质增强）

python run.py --input_folder [test_image_folder_path] \
              --output_folder [output_path] \
              --GPU 0

场景 2：修复有划痕的老照片

python run.py --input_folder [test_image_folder_path] \
              --output_folder [output_path] \
              --GPU 0 \
              --with_scratch

场景 3：修复高分辨率且有划痕的老照片

python run.py --input_folder [test_image_folder_path] \
              --output_folder [output_path] \
              --GPU 0 \
              --with_scratch \
              --HR

结果查看： 最终修复完成的图片将保存在 [output_path]/final_output/ 目录下。中间处理步骤的结果也可在 [output_path] 中查看。