深度流引导视频修复

CVPR 2019 论文 | 项目页面 | YouTube | BibTeX

安装与依赖

该代码已在 PyTorch=0.4.0 和 Python3.6 环境下测试通过。详细信息请参阅 requirements.txt。

或者，您也可以使用提供的 Docker 镜像 来运行。

安装 Python 包

pip install -r requirements.txt

安装 Flownet2 模块

bash install_scripts.sh

组件

本仓库包含三个主要组件：

• 视频修复工具：DFVI
• 光流提取：Flownet2（基于 NVIDIA 官方版本 修改）
• 图像修复（基于 Deepfillv1 重新实现）

使用方法

• 若要使用我们的视频修复工具进行物体移除，建议将视频帧放入 xxx/video_name/frames 目录，并将每帧的掩码放入 xxx/video_name/masks 目录。 同时，请从 这里 下载演示资源和模型权重。 我们已在 demo 文件夹中提供包含帧和掩码的示例，运行以下命令即可得到结果：

python tools/video_inpaint.py --frame_dir ./demo/frames --MASK_ROOT ./demo/masks --img_size 512 832 --FlowNet2 --DFC --ResNet101 --Propagation 

我们提供了电影演示中使用的原始模型权重，其骨干网络为 ResNet101，其他相关权重请从 这里 下载。 详细使用及训练配置请参阅 tools 目录。

• 对于固定区域的图像修复，我们提供了 DAVIS 数据集中细化阶段的模型权重。请下载跑步女士的相关资源 链接 和模型权重 链接。以下命令可帮助您获得修复效果：

CUDA_VISIBLE_DEVICES=0 python tools/video_inpaint.py --frame_dir ./demo/lady-running/frames \
--MASK_ROOT ./demo/lady-running/mask_bbox.png \
--img_size 448 896 --DFC --FlowNet2 --Propagation \
--PRETRAINED_MODEL_1 ./pretrained_models/resnet50_stage1.pth \
--PRETRAINED_MODEL_2 ./pretrained_models/DAVIS_model/davis_stage2.pth \
--PRETRAINED_MODEL_3 ./pretrained_models/DAVIS_model/davis_stage3.pth \
--MS --th_warp 3 --FIX_MASK

您只需调整 **th_warp** 参数，即可在您的视频中获得更好的修复效果。

• 提取视频光流：

python tools/infer_flownet2.py --frame_dir xxx/video_name/frames

• 使用 Deepfillv1-PyTorch 模型进行图像修复：

python tools/frame_inpaint.py --test_img xxx.png --test_mask xxx.png --image_shape 512 512

更新

• 更多结果可在 这里 查看并下载。

• 支持 PyTorch>1.0： 对于更新延迟深感抱歉，现已集成支持 PyTorch>1.0 的预发布版本到我们的新 v1.1 分支。

• 我们的电影演示所用的帧和掩码已上传至 Google Drive。

• DAVIS 数据集细化阶段的模型权重已发布，您可从 这里 下载。 有关多尺度模型的使用方法，请参阅 使用方法。

常见问题解答

• 运行 install_scripts.sh 时出现错误 若编译过程中遇到 gcc 相关问题，请尝试以下命令：

export CXXFLAGS="-std=c++11"
export CFLAGS="-std=c99"

引用

@InProceedings{Xu_2019_CVPR,
author = {Xu, Rui and Li, Xiaoxiao and Zhou, Bolei and Loy, Chen Change},
title = {Deep Flow-Guided Video Inpainting},
booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2019}
}

Deep-Flow-Guided-Video-Inpainting 快速上手指南

环境准备

本项目基于 PyTorch 0.4.0 和 Python 3.6 开发测试。为确保兼容性，建议优先使用官方提供的 Docker 镜像，或在独立环境中配置以下依赖：

• 操作系统: Linux (推荐)
• Python: 3.6
• PyTorch: 0.4.0
• 编译器: GCC (需支持 C++11 和 C99 标准)
• 其他依赖: 详见 requirements.txt

注意：若需支持 PyTorch > 1.0 版本，请切换至项目的 v1.1 分支。

安装步骤

1. 安装 Python 依赖

克隆仓库后，进入目录并安装基础 Python 包：

pip install -r requirements.txt

2. 编译 FlowNet2 模块

执行脚本以编译修改版的 FlowNet2（光流提取模块）：

bash install_scripts.sh

若在编译过程中遇到 gcc 相关错误，请尝试设置以下环境变量后重试：

export CXXFLAGS="-std=c++11"
export CFLAGS="-std=c99"

3. 下载模型与演示资源

使用前需从 Google Drive 下载预训练模型权重及演示数据：

• 通用模型与 Demo 资源: 下载链接
• DAVIS 精细化阶段模型: 下载链接

将下载的权重文件放置于项目对应的 pretrained_models 目录下。

基本使用

场景一：移除视频中的物体（推荐示例）

1. 准备数据 将视频帧序列放入 xxx/video_name/frames 目录，对应的掩码（Mask）图片放入 xxx/video_name/masks 目录。

2. 运行推理 使用以下命令处理演示数据（需确保已下载对应 demo 资源）：

python tools/video_inpaint.py --frame_dir ./demo/frames --MASK_ROOT ./demo/masks --img_size 512 832 --FlowNet2 --DFC --ResNet101 --Propagation

场景二：固定区域修复（Fixed Region Inpainting）

针对固定区域的修复任务（如 DAVIS 数据集示例），需指定多个阶段的预训练模型：

CUDA_VISIBLE_DEVICES=0 python tools/video_inpaint.py --frame_dir ./demo/lady-running/frames \
--MASK_ROOT ./demo/lady-running/mask_bbox.png \
--img_size 448 896 --DFC --FlowNet2 --Propagation \
--PRETRAINED_MODEL_1 ./pretrained_models/resnet50_stage1.pth \
--PRETRAINED_MODEL_2 ./pretrained_models/DAVIS_model/davis_stage2.pth \
--PRETRAINED_MODEL_3 ./pretrained_models/DAVIS_model/davis_stage3.pth \
--MS --th_warp 3 --FIX_MASK

提示：可通过调整 --th_warp 参数优化不同视频的修复效果。

其他工具命令

• 仅提取视频光流:

  python tools/infer_flownet2.py --frame_dir xxx/video_name/frames
  

• 单张图片修复 (基于 Deepfillv1):

  python tools/frame_inpaint.py --test_img xxx.png --test_mask xxx.png --image_shape 512 512