视频帧插值的实时中间光流估计

YouTube | BiliBili | Colab | 教程 | DeepWiki

简介

本项目实现了视频帧插值的实时中间光流估计。目前，我们的模型在2080Ti GPU上可以以30+FPS的速度进行2倍于720p分辨率的插帧处理。它支持在任意两帧图像之间进行任意时间步长的插帧。

2024年8月 - 我们发现4.22.lite非常适合用于对某些扩散模型生成的视频进行后处理。

2023年11月 - 我们最近发布了针对动漫场景优化的新版本v4.7-4.10! 我们借鉴了SAFA的研究成果。

2022年7月4日 - 我们的论文已被ECCV2022接收。感谢所有相关作者、贡献者和用户！

从2020年到2022年，我们曾五次提交RIFE（分别被CVPR21、ICCV21、AAAI22和CVPR22拒绝）。感谢所有匿名审稿人，你们的建议极大地帮助我们改进了论文！

ECCV海报 | ECCV 5分钟演讲 | 论文中文介绍 | 反驳意见（2WA1WR->3WA）

置顶软件：RIFE-App | FlowFrames | SVFI（中文）

两张输入图像的16倍插帧结果：

软件

Flowframes | SVFI（中文） | Waifu2x-Extension-GUI | Autodesk Flame | SVP | mpv_PlayKit | enhancr

RIFE-App（付费） | Steam-VFI（付费）

我们不对上述软件的开发负责，也不参与其中。根据开源许可协议，我们尊重其他开发者们的商业行为。

VapourSynth-RIFE | RIFE-ncnn-vulkan | VapourSynth-RIFE-ncnn-Vulkan | vs-mlrt

如果你是一名开发者，欢迎关注Practical-RIFE，该项目旨在通过添加各种功能和设计更快速度的新模型，使RIFE对用户更加实用。

你可以查看这个pull request以获得对macOS的支持。

CLI使用

安装

git clone git@github.com:megvii-research/ECCV2022-RIFE.git
cd ECCV2022-RIFE
pip3 install -r requirements.txt

• 从这里下载预训练的HD模型。（百度网盘链接:https://pan.baidu.com/share/init?surl=u6Q7-i4Hu4Vx9_5BJibPPA 密码:hfk3，将压缩包解压后放入train_log/*)

• 解压并将预训练参数移动到train_log/*

• 该模型并未在我们的论文中报告，关于论文中的模型请参考评估部分。

运行

视频帧插值

你可以使用我们的示例视频或你自己的视频。

python3 inference_video.py --exp=1 --video=video.mp4 

（生成video_2X_xxfps.mp4）

python3 inference_video.py --exp=2 --video=video.mp4

（进行4倍插帧）

python3 inference_video.py --exp=1 --video=video.mp4 --scale=0.5

（如果你的视频分辨率非常高，比如4K，我们建议设置--scale=0.5（默认为1.0）。如果生成的视频出现杂乱的图案，可以尝试将--scale设为2.0。该参数控制光流模型的处理分辨率。）

python3 inference_video.py --exp=2 --img=input/

（从png文件读取视频，例如input/0.png ... input/612.png，确保png文件名是数字顺序排列的）

python3 inference_video.py --exp=2 --video=video.mp4 --fps=60

（添加慢动作效果，音频会被移除）

python3 inference_video.py --video=video.mp4 --montage --png

（如果你想将原视频拼接起来并保存为png格式的输出）

扩展应用

你可以参考#278了解光流估计，以及参考#291了解视频拼接。

图像插值

python3 inference_img.py --img img0.png img1.png --exp=4

（2^4=16倍插帧结果） 之后，你可以使用png文件生成mp4：

ffmpeg -r 10 -f image2 -i output/img%d.png -s 448x256 -c:v libx264 -pix_fmt yuv420p output/slomo.mp4 -q:v 0 -q:a 0

你也可以用png文件生成gif：

ffmpeg -r 10 -f image2 -i output/img%d.png -s 448x256 -vf "split[s0][s1];[s0]palettegen=stats_mode=single[p];[s1][p]paletteuse=new=1" output/slomo.gif

在docker中运行

将预训练模型放置在train_log/\*.pkl中（如上所述）。

构建容器：

docker build -t rife -f docker/Dockerfile .

运行容器：

docker run --rm -it -v $PWD:/host rife:latest inference_video --exp=1 --video=untitled.mp4 --output=untitled_rife.mp4

docker run --rm -it -v $PWD:/host rife:latest inference_img --img img0.png img1.png --exp=4

使用GPU加速（需要为docker配置合适的GPU驱动程序）：

docker run --rm -it --gpus all -v /dev/dri:/dev/dri -v $PWD:/host rife:latest inference_video --exp=1 --video=untitled.mp4 --output=untitled_rife.mp4

评估

下载我们论文中提到的 RIFE 模型 或 RIFE_m 模型。

UCF101: 在 ./UCF101/ucf101_interp_ours/ 下载 UCF101 数据集。

Vimeo90K: 在 ./vimeo_interp_test 下载 Vimeo90K 数据集。

MiddleBury: 在 ./other-data 和 ./other-gt-interp 下载 MiddleBury OTHER 数据集。

HD: 在 ./HD_dataset 下载 HD 数据集。我们还提供一个 google drive 下载链接。

# RIFE
python3 benchmark/UCF101.py
# "PSNR: 35.282 SSIM: 0.9688"
python3 benchmark/Vimeo90K.py
# "PSNR: 35.615 SSIM: 0.9779"
python3 benchmark/MiddleBury_Other.py
# "IE: 1.956"
python3 benchmark/HD.py
# "PSNR: 32.14"

# RIFE_m
python3 benchmark/HD_multi_4X.py
# "PSNR: 22.96(544*1280), 31.87(720p), 34.25(1080p)"

训练与复现

下载 Vimeo90K 数据集。

我们使用 16 核 CPU、4 张 GPU 和 20GB 内存进行训练：

python3 -m torch.distributed.launch --nproc_per_node=4 train.py --world_size=4

版本历史

2021年3月18日 arXiv: 修改主要实验数据，尤其是与运行时间相关的问题。

2021年8月12日 arXiv: 移除预训练模型依赖，并提出用于帧插值的特权蒸馏方案。移除 census loss 监督。

2021年11月17日 arXiv: 支持任意时间点的帧插值，即 RIFEm，并增加了更多实验。

推荐

我们诚挚推荐以下相关论文：

CVPR22 - 通过视频帧插值优化视频预测

CVPR22 - 基于 Transformer 的视频帧插值

CVPR22 - IFRNet：用于高效帧插值的中间特征精炼网络

CVPR23 - 用于视频预测的动态多尺度体素流网络

CVPR23 - 通过帧间注意力提取运动和外观信息以实现高效视频帧插值

引用

如果您认为本项目有所帮助，请随时点赞或引用我们的论文：

@inproceedings{huang2022rife,
  title={实时视频帧插值中的中间光流估计},
  author={Huang, Zhewei and Zhang, Tianyuan and Heng, Wen and Shi, Boxin and Zhou, Shuchang},
  booktitle={欧洲计算机视觉会议（ECCV）论文集},
  year={2022}
}

参考文献

光流： ARFlow pytorch-liteflownet RAFT pytorch-PWCNet

视频插值： DVF TOflow SepConv DAIN CAIN MEMC-Net SoftSplat BMBC EDSC EQVI

ECCV2022-RIFE 快速上手指南

RIFE (Real-Time Intermediate Flow Estimation) 是一个用于视频帧插值的开源项目，能够实现实时的视频慢动作生成和任意时间步的图像插值。在 2080Ti GPU 上，对 720p 视频进行 2 倍插值可达到 30+ FPS。

环境准备

• 操作系统: Linux (推荐), macOS (需参考特定 PR), Windows (建议通过 WSL2 或 Docker 运行)
• 硬件要求: NVIDIA GPU (支持 CUDA)，显存建议 4GB 以上（高分辨率视频需更大显存）
• 软件依赖:
  • Python 3.6+
  • PyTorch (支持 CUDA 版本)
  • FFmpeg (用于视频读写)
  • Git

安装步骤

1. 克隆项目代码

git clone git@github.com:megvii-research/ECCV2022-RIFE.git
cd ECCV2022-RIFE

2. 安装 Python 依赖

建议使用国内镜像源加速安装：

pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载预训练模型

本项目推荐使用 HD 模型以获得更好的通用效果。

• 下载地址: Google Drive | 百度网盘 (提取码: hfk3)
• 部署方法: 下载压缩包后解压，将得到的参数文件移动到 train_log/ 目录下。

基本使用

视频帧插值 (Video Frame Interpolation)

将视频帧率翻倍（2X 插值）。请确保当前目录下有名为 video.mp4 的视频文件，或修改命令中的路径。

python3 inference_video.py --exp=1 --video=video.mp4

• 输出文件为 video_2X_xxfps.mp4。
• 4 倍插值: 将 --exp 设为 2 (--exp=2)。
• 高分辨率优化: 如果处理 4K 等高分辨率视频出现显存不足或图案错乱，可添加 --scale=0.5 参数降低光流模型的处理分辨率。

图像帧插值 (Image Interpolation)

在两张静态图片之间生成过渡帧（例如生成 16 倍插值结果）。

python3 inference_img.py --img img0.png img1.png --exp=4

• 该命令会在 output/ 目录生成一系列 PNG 图片。
• --exp=4 表示 $2^4=16$ 倍插值。

后续操作（可选）: 使用 FFmpeg 将生成的图片序列合并为视频或 GIF：

# 生成 MP4
ffmpeg -r 10 -f image2 -i output/img%d.png -s 448x256 -c:v libx264 -pix_fmt yuv420p output/slomo.mp4 -q:v 0 -q:a 0

# 生成 GIF
ffmpeg -r 10 -f image2 -i output/img%d.png -s 448x256 -vf "split[s0][s1];[s0]palettegen=stats_mode=single[p];[s1][p]paletteuse=new=1" output/slomo.gif

Docker 运行 (可选)

如果本地环境配置困难，可使用 Docker 运行（需提前将模型放入 train_log/）：

# 构建镜像
docker build -t rife -f docker/Dockerfile .

# 运行视频插值 (CPU)
docker run --rm -it -v $PWD:/host rife:latest inference_video --exp=1 --video=untitled.mp4 --output=untitled_rife.mp4

# 运行视频插值 (GPU 加速)
docker run --rm -it --gpus all -v /dev/dri:/dev/dri -v $PWD:/host rife:latest inference_video --exp=1 --video=untitled.mp4 --output=untitled_rife.mp4