FLAVR：用于快速帧插值的流无关视频表示

WACV 2023（最佳论文入围）

[项目页面] [论文] [项目视频]

FLAVR 是一种快速、无流处理的帧插值方法，能够实现单次拍摄下的多帧预测。它采用定制化的编码器-解码器架构，结合时空卷积与通道门控技术，用于捕捉并插值帧间复杂的运动轨迹，从而生成逼真且高帧率的视频。本仓库包含原始源代码。

推理时间

与以往的帧插值方法相比，FLAVR 在速度与精度之间实现了更好的平衡。

方法	512x512 图像上的 FPS（秒）
FLAVR	3.10
SuperSloMo	3.33
QVI	1.02
DAIN	0.77

依赖项

我们使用了以下工具来训练和测试该模型。

• Ubuntu 18.04
• Python==3.7.4
• numpy==1.19.2
• PyTorch==1.5.0，torchvision==0.6.0，cudatoolkit==10.1

模型

在 Vimeo-90K 七重奏数据集上训练模型

若要基于 Vimeo-90K 数据集训练自己的模型，请使用以下命令。您可从此链接下载该数据集。论文中报告的结果均使用 8 个 GPU 进行训练。

python main.py --batch_size 32 --test_batch_size 32 --dataset vimeo90K_septuplet --loss 1*L1 --max_epoch 200 --lr 0.0002 --data_root <dataset_path> --n_outputs 1

在 GoPro 数据集上进行训练的方法类似，只需将 n_outputs 修改为 7，以实现 8 倍插值。

使用已训练模型进行测试。

已训练模型

您可以从以下链接下载预训练的 FLAVR 模型。

方法	已训练模型
2x	链接
4x	链接
8x	链接

2x 插值

若要将预训练模型应用于 Vimeo-90K 七重奏验证集进行测试，您可以运行以下命令：

python test.py --dataset vimeo90K_septuplet --data_root <data_path> --load_from <saved_model> --n_outputs 1

8x 插值

若要测试多帧插值模型，请使用与上述相同的命令，并相应地调整 n_outputs 的值，以适应多帧 FLAVR 模型。

时间基准测试

除了计算 PSNR 和 SSIM 值外，测试脚本还会输出插值的推理时间和速度。

中堡基准评测

要对中堡公开基准进行评测，请运行以下命令。

python Middleburry_Test.py --data_root <data_path> --load_from <model_path>

插值后的图像将保存至 Middleburry 文件夹中，其格式便于直接上传至排行榜。

自定义视频上的 SloMo 滤镜

您可以使用我们训练好的模型，在自己的视频上应用慢动作滤镜（需配备 OpenCV 4.2.0）。请使用以下命令。若想将 30 FPS 的视频转换为 240 FPS 的视频，只需使用如下命令：

python interpolate.py --input_video <input_video> --factor 8 --load_model <model_path>

其中，我们使用了预训练模型进行 8 倍插值。若要将 30 FPS 的视频转换为 60 FPS 的视频，则可使用 2 倍模型，将 factor 设置为 2。

基线模型

我们还针对许多其他先前的研究成果，在我们的实验环境中进行了模型训练，并提供了所有这些方法的模型。完整的基准评测脚本也将很快发布。

新版本（2024年4月）：由于谷歌将其 Google Drive 免费存储空间额度大幅削减，我已无法再访问下方列出的其他方法的预训练模型。我希望未来能够重新训练这些模型并发布新的链接，但目前暂不抱太大期望。非常抱歉！

方法	Vimeo 上的 PSNR	已训练模型
FLAVR	36.3	模型
AdaCoF	35.3	模型
QVI*	35.15	模型
DAIN	34.19	模型
SuperSloMo*	32.90	模型

• SuperSloMo 是基于此处的代码库实现的。其他基线模型则采用官方代码库进行实现。
• 本文中展示的基线模型数值略优于论文中报告的数值。

Google Colab

本仓库的 notebooks 目录中提供了一个 Colab 笔记本，您可以在其中尝试对自定义视频进行 2 倍慢动作滤镜处理。

动态放大模型

遗憾的是，我们目前无法提供动态放大模型的预训练模型。我们正努力尽快推出相关模型。

感谢

本代码大量借鉴了 Facebook 官方的 PyTorch 视频仓库 以及 CAIN。

引用

如果这段代码对您的工作有所帮助，请考虑向我们致谢。

@article{kalluri2023flavr,
  title={FLAVR：用于快速帧插值的流无关视频表示},
  author={Kalluri, Tarun and Pathak, Deepak and Chandraker, Manmohan and Tran, Du},
  booktitle={WACV},
  year={2023}
}

FLAVR 快速上手指南

FLAVR 是一种快速、无需光流的视频帧插值方法，支持单次推理预测多帧。它利用时空卷积和通道门控机制，能够捕捉复杂的运动轨迹，生成高帧率的逼真视频。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Ubuntu 18.04 (推荐)
• Python: 3.7.4
• 深度学习框架: PyTorch 1.5.0, torchvision 0.6.0
• CUDA: cudatoolkit 10.1
• 其他依赖:
  • numpy==1.19.2
  • OpenCV 4.2.0 (用于自定义视频处理)

注意：由于该工具基于较旧版本的 PyTorch (1.5.0) 开发，建议创建独立的虚拟环境以避免版本冲突。国内用户可使用清华或阿里镜像源加速 pip 安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/tarun005/FLAVR.git
   cd FLAVR
   

2. 安装依赖 建议使用 pip 并指定国内镜像源安装所需包：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   如果仓库中未提供 requirements.txt，请手动安装核心依赖：

   pip install torch==1.5.0 torchvision==0.6.0 numpy==1.19.2 opencv-python==4.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：PyTorch 旧版本可能需要从官方历史版本页面下载 wheel 文件安装，或使用 conda 指定版本)

3. 下载预训练模型 根据需求下载对应的倍率模型（2x, 4x, 或 8x）：

   • 2x 插值: 下载链接
   • 4x 插值: 下载链接
   • 8x 插值: 下载链接

   下载后将模型文件放置在项目目录下，或记住其绝对路径。

基本使用

场景一：自定义视频慢动作处理 (推荐)

这是最简单的使用方式，可直接将普通视频转换为高帧率慢动作视频。

示例：将 30FPS 的视频转换为 240FPS (8 倍插值)：

python interpolate.py --input_video <input_video> --factor 8 --load_model <model_path>

• <input_video>: 替换为您的输入视频路径。
• <model_path>: 替换为下载的 8x 预训练模型路径。
• --factor: 插值倍数。若需转为 60FPS (2 倍)，请将 factor 设为 2 并使用 2x 模型。

场景二：数据集测试与评估

如果您需要在 Vimeo-90K 或 Middleburry 数据集上测试模型性能：

2x 插值测试 (Vimeo-90K):

python test.py --dataset vimeo90K_septuplet --data_root <data_path> --load_from <saved_model> --n_outputs 1

Middleburry 基准测试:

python Middleburry_Test.py --data_root <data_path> --load_from <model_path>

• 脚本会自动计算 PSNR、SSIM 以及推理耗时，并将结果保存至相应文件夹。

场景三：从头训练模型

若需在 Vimeo-90K septuplets 数据集上训练新模型（需 8 张 GPU 以达到论文效果）：

python main.py --batch_size 32 --test_batch_size 32 --dataset vimeo90K_septuplet --loss 1*L1 --max_epoch 200 --lr 0.0002 --data_root <dataset_path> --n_outputs 1

• <dataset_path>: 替换为 Vimeo-90K 数据集的本地路径。
• 对于 GoPro 数据集的 8 倍插值训练，请将 --n_outputs 改为 7。