Zooming-Slow-Mo (CVPR-2020)

By Xiaoyu Xiang^*, Yapeng Tian^*, Yulun Zhang, Yun Fu, Jan P. Allebach⁺, Chenliang Xu⁺ (^* 同等贡献，⁺ 同等指导)

这是 Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution（Zooming Slow-Mo：快速且准确的单阶段时空视频超分辨率）的官方 PyTorch (深度学习框架) 实现。

论文 | 期刊版本 | 演示 (YouTube) | 1 分钟预告 (YouTube) | 1 分钟预告 (Bilibili)

输入	输出

Updates

• 2020.3.13 添加本论文所用数据集的元信息 (meta-info)
• 2020.3.11 添加新功能：视频转换器 (video converter)
• 2020.3.10: 上传完整代码和预训练模型 (pretrained models)

Contents

0. 介绍
1. 前置要求
2. 开始使用
   • 安装
   • 训练
   • 测试
   • Colab Notebook
3. 引用
4. 联系
5. 许可
6. 致谢

Introduction

该仓库包含了 Zooming Slow-Mo 单阶段时空视频超分辨率项目的全部内容（包括所有预处理步骤）。

Zooming Slow-Mo 是一种最近提出的联合视频帧插值 (Video Frame Interpolation, VFI) 和视频超分辨率 (Video Super-Resolution, VSR) 方法，它直接从低帧率 (Low Frame Rate, LFR)、低分辨率 (Low Resolution, LR) 视频中合成高分辨率 (High Resolution, HR) 慢动作视频。该论文将发表于 CVPR 2020。带有补充材料的最新论文可在 arXiv 找到。

在 Zooming Slow-Mo 中，我们首先通过提出的特征时间插值网络对缺失的 LR 帧进行时间上的特征插值。然后，我们提出了一种可变形 ConvLSTM 来同时对齐和聚合时间信息。最后，采用深度重建网络来预测 HR 慢动作视频帧。如果我们提出的架构也对您的研究有所帮助，请考虑引用我们的论文。

Zooming Slow-Mo 在 Vid4 和 Vimeo 测试集上通过 PSNR (峰值信噪比) 和 SSIM (结构相似性指数) 达到了最先进的性能。

Prerequisites

• Python 3 (建议使用 Anaconda)
• PyTorch >= 1.1
• NVIDIA GPU + CUDA (并行计算架构)
• Deformable Convolution v2 (可变形卷积 v2)，我们在子模块中采用了 CharlesShang 的实现。
• Python 包：pip install numpy opencv-python lmdb pyyaml pickle5 matplotlib seaborn

Get Started

Installation

安装所需的包：pip install -r requirements.txt

首先，确保您的机器拥有 GPU，因为 DCNv2 模块需要 GPU 支持。

1. 克隆 Zooming Slow-Mo 仓库。我们将您克隆的 Zooming Slow-Mo 目录称为 ZOOMING_ROOT。

git clone --recursive https://github.com/Mukosame/Zooming-Slow-Mo-CVPR-2020.git

2. 编译 DCNv2：

cd $ZOOMING_ROOT/codes/models/modules/DCNv2
bash make.sh         # build
python test.py    # run examples and gradient check

请在运行以下实验之前，确保测试脚本成功完成且没有任何错误。

Training

Part 1: Data Preparation

1. 下载原始的 Vimeo-septuplet 训练 + 测试集 (82 GB)。

wget http://data.csail.mit.edu/tofu/dataset/vimeo_septuplet.zip
apt-get install unzip
unzip vimeo_septuplet.zip

2. 将 Vimeo-septuplet 拆分为训练集和测试集，请确保您在脚本中将数据集的路径更改为您的下载路径，并且您需要分别为训练集和测试集运行：

cd $ZOOMING_ROOT/codes/data_scripts/sep_vimeo_list.py

这将在 vimeo_septuplet/sequences 目录下创建 train 和 test 文件夹。文件夹结构如下：

vimeo_septuplet
├── sequences
    ├── 00001
        ├── 0266
            ├── im1.png
            ├── ...
            ├── im7.png
        ├── 0268...
    ├── 00002...
├── readme.txt
├──sep_trainlist.txt
├── sep_testlist.txt

3. 生成低分辨率 (LR) 图像。您可以通过 MATLAB 或 Python 完成此操作（记得配置输入和输出路径）：

# In Matlab Command Window
run $ZOOMING_ROOT/codes/data_scripts/generate_LR_Vimeo90K.m

python $ZOOMING_ROOT/codes/data_scripts/generate_mod_LR_bic.py

4. 创建 LMDB (轻量级键值存储数据库) 文件以获得更快的 I/O 速度。注意，您需要在以下脚本中配置您的输入和输出路径：

python $ZOOMING_ROOT/codes/data_scripts/create_lmdb_mp.py

生成的 lmdb 文件夹结构如下：

Vimeo7_train.lmdb
├── data.mdb
├── lock.mdb
├── meta_info.txt

Part 2: Train

注意： 在本部分中，假设您位于目录 $ZOOMING_ROOT/codes/ 下。

1. 配置您的训练设置，可以在 options/train 中找到。我们论文中的训练设置可以在 train_zsm.yml 中找到。我们将以此设置为例来说明以下步骤。

2. 训练 Zooming Slow-Mo 模型。

python train.py -opt options/train/train_zsm.yml

训练完成后，您的模型 xxxx_G.pth 及其训练状态，以及相应的日志文件 train_LunaTokis_scratch_b16p32f5b40n7l1_600k_Vimeo_xxxx.log 将放置在 $ZOOMING_ROOT/experiments/LunaTokis_scratch_b16p32f5b40n7l1_600k_Vimeo/ 目录中。

测试

我们提供了针对标准测试集（Vid4, SPMC 等）和自定义视频帧的测试代码。

预训练模型

我们的预训练模型可以通过 GitHub 或 Google Drive 下载。

从视频

如果您已安装 ffmpeg (视频处理工具)，可以使用 video_to_zsm.py 将任何视频转换为高分辨率和高帧率的视频。相应的命令如下：

cd $ZOOMING_ROOT/codes
python video_to_zsm.py --video PATH/TO/VIDEO.mp4 --model PATH/TO/PRETRAINED/MODEL.pth --output PATH/TO/OUTPUT.mp4

我们也已将上述命令写入 Shell (命令行外壳) 脚本，因此您可以直接运行：

bash zsm_my_video.sh

从提取的帧

为了快速开始，我们在 test_example 文件夹中也提供了一些示例图像。您可以使用以下命令测试模型：

cd $ZOOMING_ROOT/codes
python test.py

• 您也可以将自己的测试文件夹放入 test_example，或者直接在 test.py 中更改输入路径、帧数等。

• 您的自定义测试结果将保存到此处的文件夹：$ZOOMING_ROOT/results/your_data_name/。

在标准测试集上评估

test.py 脚本还提供了针对以下测试集的评估模式：Vid4, SPMC 等。我们在 YCrCb 色彩空间的 Y 通道上评估 PSNR (峰值信噪比) 和 SSIM (结构相似性)。命令与上述相同。您需要做的就是更改 data_mode 和标准测试集对应的路径。

Colab 笔记本

PyTorch Colab 笔记本（由 @HanClinto 提供）：HighResSlowMo.ipynb

引用

如果您发现该代码对您的研究或工作有帮助，请引用以下论文。

@misc{xiang2021zooming,
  title={Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution},
  author={Xiang, Xiaoyu and Tian, Yapeng and Zhang, Yulun and Fu, Yun and Allebach, Jan P and Xu, Chenliang},
  archivePrefix={arXiv},
  eprint={2104.07473},
  year={2021},
  primaryClass={cs.CV}
}

@InProceedings{xiang2020zooming,
  author = {Xiang, Xiaoyu and Tian, Yapeng and Zhang, Yulun and Fu, Yun and Allebach, Jan P. and Xu, Chenliang},
  title = {Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  pages={3370--3379},
  month = {June},
  year = {2020}
}

@InProceedings{tian2018tdan,
  author={Yapeng Tian, Yulun Zhang, Yun Fu, and Chenliang Xu},
  title={TDAN: Temporally Deformable Alignment Network for Video Super-Resolution},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  pages={3360--3369},
  month = {June},
  year = {2020}
}

@InProceedings{wang2019edvr,
  author    = {Wang, Xintao and Chan, Kelvin C.K. and Yu, Ke and Dong, Chao and Loy, Chen Change},
  title     = {EDVR: Video restoration with enhanced deformable convolutional networks},
  booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)},
  month     = {June},
  year      = {2019},
}

联系

Xiaoyu Xiang 和 Yapeng Tian。

您也可以在仓库中以 Issue (问题) 的形式留下您的问题。我们将很乐意为您解答。

许可证

本项目基于 GNU General Public License v3.0 发布。

致谢

我们的代码灵感来源于 TDAN-VSR 和 EDVR。

Zooming-Slow-Mo-CVPR-2020 快速上手指南

本项目是 CVPR 2020 论文《Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution》的官方 PyTorch 实现。它能够将低帧率（LFR）、低分辨率（LR）的视频直接合成为高分辨率（HR）的慢动作视频。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / Windows (推荐 Linux)
• 硬件: NVIDIA GPU + CUDA
• 软件:
  • Python 3 (推荐使用 Anaconda)
  • PyTorch >= 1.1
  • FFmpeg (用于视频处理)
• 依赖包:

  numpy opencv-python lmdb pyyaml pickle5 matplotlib seaborn
  

2. 安装步骤

2.1 克隆代码库

将项目克隆到本地，建议设置环境变量 ZOOMING_ROOT 指向克隆目录。

git clone --recursive https://github.com/Mukosame/Zooming-Slow-Mo-CVPR-2020.git
export ZOOMING_ROOT=/path/to/Zooming-Slow-Mo-CVPR-2020

2.2 编译 DCNv2 模块

由于使用了可变形卷积 v2 (DCNv2)，需要手动编译该子模块。

cd $ZOOMING_ROOT/codes/models/modules/DCNv2
bash make.sh         # 构建
python test.py       # 运行示例和梯度检查，确保无错误

2.3 安装 Python 依赖

在项目根目录下安装所需的 Python 包。

cd $ZOOMING_ROOT
pip install -r requirements.txt

3. 基本使用

本部分介绍如何使用预训练模型对视频进行超分辨率和插帧处理。

3.1 下载预训练模型

您可以从以下链接下载官方提供的预训练权重文件 xiang2020zooming.pth：

• GitHub
• Google Drive

将下载的模型文件放置在您方便访问的路径下。

3.2 视频处理 (Video to Video)

如果您已安装 ffmpeg，可以直接将任意视频转换为高分辨率、高帧率的视频。

cd $ZOOMING_ROOT/codes
python video_to_zsm.py --video PATH/TO/VIDEO.mp4 --model PATH/TO/PRETRAINED/MODEL.pth --output PATH/TO/OUTPUT.mp4

或者直接使用提供的 Shell 脚本：

bash zsm_my_video.sh

3.3 图像序列测试 (From Frames)

如果您已有提取好的图像序列，可以使用 test.py 进行测试。

cd $ZOOMING_ROOT/codes
python test.py

• 默认测试数据位于 test_example 文件夹。
• 自定义测试时，请将图片放入 test_example 或修改 test.py 中的输入路径及帧数参数。
• 结果将保存至 $ZOOMING_ROOT/results/your_data_name/。