[ICCV 2021] FuSta：用于全画幅视频稳定化的混合神经融合

项目页面 | 视频 | 论文 | Google Colab

现有的视频稳定化方法通常会产生明显的失真，或者需要大幅裁剪帧的边界，从而导致视野变小。在本工作中，我们提出了一种帧合成算法，以实现全画幅视频稳定化。我们首先从相邻帧中估计密集的变形场，然后通过融合变形后的内容来合成稳定的帧。我们的核心技术创新在于基于学习的混合空间融合，它可以缓解由光流不准确和快速移动物体引起的伪影。我们在NUS、自拍和DeepStab视频数据集上验证了我们方法的有效性。大量实验结果表明，我们的方法优于先前的视频稳定化方法。

环境搭建

为[Yu和Ramamoorthi 2020]搭建环境。

cd CVPR2020CODE_yulunliu_modified
conda create --name FuSta_CVPR2020 python=3.6
conda activate FuSta_CVPR2020
pip install -r requirements_CVPR2020.txt
./install.sh

下载[Yu和Ramamoorthi 2020]的预训练检查点。

wget https://www.cmlab.csie.ntu.edu.tw/~yulunliu/FuSta/CVPR2020_ckpts.zip
unzip CVPR2020_ckpts.zip
cd ..

为FuSta搭建环境。

conda deactivate
conda create --name FuSta python=3.6
conda activate FuSta
conda install pytorch=1.6.0 torchvision=0.7.0 cudatoolkit=10.1 -c pytorch
conda install matplotlib
conda install tensorboard
conda install scipy
conda install opencv
conda install -c conda-forge cupy cudatoolkit=10.1
pip install PyMaxflow

运行代码

使用[Yu和Ramamoorthi 2020]计算平滑光流。

conda activate FuSta_CVPR2020
cd CVPR2020CODE_yulunliu_modified
python main.py [输入帧路径] [输出帧路径] [输出变形场路径]

例如：

python main.py ../../NUS/Crowd/0/ NUS_results/Crowd/0/ CVPR2020_warping_field/

运行FuSta视频稳定化。

conda deactivate
conda activate FuSta
cd ..
python run_FuSta.py --load [模型检查点路径] --input_frames_path [输入帧路径] --warping_field_path [变形场路径] --output_path [输出帧路径] --temporal_width [时间窗口宽度] --temporal_step [时间步长]

例如：

python run_FuSta.py --load NeRViS_model/checkpoint/model_epoch050.pth --input_frames_path ../NUS/Crowd/0/ --warping_field_path CVPR2020CODE_yulunliu_modified/CVPR2020_warping_field/ --output_path output/ --temporal_width 41 --temporal_step 4

评价指标

请参考metrics.py以计算C/D/S指标，以及metrics_A.py以计算A指标。metrics.py的实现是在Stefan Klut的帮助下，基于DIFRINT修改而来。此外，请注意，某些对比的稳定化方法在计算C/D/S指标时可能会失败，导致出现NaN或大于1.0的数值。这是由于缺乏特征点或单应性矩阵估计失败所致。我们仅对所有对比方法都能成功通过指标计算的视频序列取平均得分。

引用

@inproceedings{Liu-FuSta-2021,
    title     = {Hybrid Neural Fusion for Full-frame Video Stabilization}, 
    author    = {Liu, Yu-Lun and Lai, Wei-Sheng and Yang, Ming-Hsuan and Chuang, Yung-Yu and Huang, Jia-Bin}, 
    booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision}, 
    year      = {2021}
}

致谢

部分代码基于AdaCoF-pytorch。一些函数借鉴自softmax-splatting、RAFT以及Yu和Ramamoorthi 2020。

FuSta 快速上手指南

FuSta 是一种基于混合神经融合的全画幅视频稳像算法，旨在解决传统方法产生的可见畸变或过度裁剪问题。本指南将帮助您快速部署并运行该工具。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• GPU: 支持 CUDA 的 NVIDIA 显卡
• CUDA 版本: 10.1 (官方示例指定版本)
• 包管理器: Conda (推荐 Miniconda 或 Anaconda)

国内加速建议： 建议使用清华源或中科大源加速 Conda 和 Pip 包的下载。

• Conda 配置：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
• Pip 配置：pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

本项目依赖两个独立的环境：一个是用于计算平滑光流的预处理环境（基于 Yu and Ramamoorthi 2020），另一个是用于运行 FuSta 主模型的环境。

1. 设置预处理环境 (CVPR2020)

首先克隆或进入包含 CVPR2020CODE_yulunliu_modified 的代码目录，然后执行：

cd CVPR2020CODE_yulunliu_modified
conda create --name FuSta_CVPR2020 python=3.6
conda activate FuSta_CVPR2020
pip install -r requirements_CVPR2020.txt
./install.sh

下载预训练检查点：

wget https://www.cmlab.csie.ntu.edu.tw/~yulunliu/FuSta/CVPR2020_ckpts.zip
unzip CVPR2020_ckpts.zip
cd ..

2. 设置 FuSta 主环境

退出当前环境并创建新的 Python 3.6 环境，安装 PyTorch 及相关依赖：

conda deactivate
conda create --name FuSta python=3.6
conda activate FuSta

# 安装 PyTorch 1.6.0 (对应 CUDA 10.1)
conda install pytorch=1.6.0 torchvision=0.7.0 cudatoolkit=10.1 -c pytorch

# 安装其他依赖
conda install matplotlib tensorboard scipy opencv
conda install -c conda-forge cupy cudatoolkit=10.1
pip install PyMaxflow

基本使用

使用流程分为两步：首先计算平滑的光流场，然后利用 FuSta 模型合成稳像视频。请准备好输入视频帧序列文件夹。

第一步：计算平滑光流

激活预处理环境并运行脚本，生成扭曲场（warping fields）。

conda activate FuSta_CVPR2020
cd CVPR2020CODE_yulunliu_modified
python main.py [input_frames_path] [output_frames_path] [output_warping_field_path]

示例命令：

python main.py ../../NUS/Crowd/0/ NUS_results/Crowd/0/ CVPR2020_warping_field/

第二步：运行 FuSta 稳像

切换回主环境，加载模型并生成最终视频帧。

conda deactivate
conda activate FuSta
cd ..
python run_FuSta.py --load [model_checkpoint_path] --input_frames_path [input_frames_path] --warping_field_path [warping_field_path] --output_path [output_frames_path] --temporal_width [temporal_width] --temporal_step [temporal_step]

示例命令：

python run_FuSta.py --load NeRViS_model/checkpoint/model_epoch050.pth --input_frames_path ../NUS/Crowd/0/ --warping_field_path CVPR2020CODE_yulunliu_modified/CVPR2020_warping_field/ --output_path output/ --temporal_width 41 --temporal_step 4

运行完成后，稳像后的视频帧将保存在指定的 output_path 目录中。