💡 更新日志

• [2024/12/20] 感谢 kijai 在 ComfyUI-FramerWrapper 中提供的 ComfyUI 支持！
• [2024/12/19] 发布检查点。
• [2024/10/28] Huggingface Gradio 演示现已在 这里 提供！
• [2024/10/25] 启动项目页面并上传 arXiv 预印本。

🔆 简要概述

我们提出了 Framer，一种更具可控性和交互性的帧插值方法，允许用户通过自定义选定关键点的轨迹，在两张图像之间生成平滑过渡的帧，从而增强控制能力并更好地处理复杂场景。

主要观点

所提出的 Framer 方法提供了交互式帧插值功能，用户可以通过调整选定关键点的轨迹来定制过渡效果。 这种方法有效缓解了图像变换中的歧义性，使得对局部运动的控制更加精细，并提升了模型处理复杂情况的能力（例如，形状和风格差异较大的物体）。 此外，Framer 还包含一个“自动驾驶”模式，可自动估计关键点并优化轨迹，简化操作流程，同时生成自然流畅且时间上一致的结果。

方法论

本研究以大规模预训练的图像到视频扩散模型（Stable Video Diffusion）为基础，引入了额外的端帧条件以促进视频插值，并加入了一个用于用户交互的关键点轨迹控制分支。

关键结果

Framer 在视觉质量和运动自然度方面均优于现有的帧插值方法，尤其在涉及复杂运动和显著外观变化的情况下表现突出。 使用 FVD（Fréchet 视频距离）进行的定量评估表明，Framer 的性能优于其他方法。 用户研究表明，参与者更倾向于 Framer 的输出，这凸显了其在生成逼真且视觉吸引力强的结果方面的有效性。

展示案例

请注意，这些视频经过空间压缩。原始视频请参阅项目页面。

1. 带有用户交互的视频插值

起始图像	输入轨迹及插值结果	结束图像

2. 带有用户交互的图像变形

起始图像	输入轨迹及插值结果	结束图像

3. 无用户输入控制的视频插值

起始图像	插值结果	结束图像

4. 新颖的视图合成

起始图像	插值结果	结束图像

5. 卡通与素描插值

起始图像	插值结果	结束图像

6. 延时视频生成。

起始图像	插值结果	结束图像

本地推理

安装

conda create -n framer python=3.8 -y
conda activate framer
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia

pip install -r requirements.txt

准备权重

下载预训练的Stable Video Diffusion和Framer权重，并将其放入./checkpoints目录，如下所示。

checkpoints/
|─ stable-video-diffusion-img2vid-xt
└─ framer_512x320

在本地运行Gradio

python app.py

一些示例输入已放在./examples中，欢迎体验交互式帧插值！

📖 引用 BibTeX

如果我们的代码对您有所帮助，请考虑引用我们的论文：

@article{wang2024framer,
  title={Framer: Interactive Video Interpolation},
  author={Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua},
  journal={arXiv preprint https://arxiv.org/abs/2410.18978},
  year={2024}
}

🎫 许可证

本项目面向学术用途，采用两条款BSD许可证。如需商业用途，请联系C Shen。

😉 致谢

• 我们的实现基于SVD_Xtend和DragAnything。
• 感谢kijai提供的ComfyUI支持。

Framer 快速上手指南

Framer 是一个交互式视频帧插值工具，允许用户通过自定义关键点的运动轨迹，在两张图片之间生成平滑过渡的视频。它基于 Stable Video Diffusion 模型，支持手动控制运动路径或自动估算轨迹（自动驾驶模式），特别适用于处理复杂运动和大幅外观变化的场景。

环境准备

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.8
• GPU 要求: 支持 CUDA 11.6 的 NVIDIA 显卡
• 前置依赖: Conda 环境管理工具

安装步骤

1. 创建并激活 Conda 环境

conda create -n framer python=3.8 -y
conda activate framer

2. 安装 PyTorch 及相关组件

请确保安装与 CUDA 11.6 兼容的版本：

conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia

提示：如果下载速度较慢，国内用户可尝试使用清华源或中科大源进行加速（例如添加 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/，具体视网络环境而定）。

3. 安装项目依赖

克隆仓库后进入目录，安装 requirements.txt：

pip install -r requirements.txt

提示：国内用户建议使用国内镜像源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 下载预训练权重

你需要下载以下两个模型的权重文件，并按指定结构放置在 ./checkpoints 目录下：

1. Stable Video Diffusion
2. Framer

最终目录结构应如下所示：

checkpoints/
├─ stable-video-diffusion-img2vid-xt
└─ framer_512x320

基本使用

启动本地 Gradio 界面即可开始交互式操作：

python app.py

运行成功后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860）。在浏览器中打开该地址，你将看到可视化界面：

1. 上传图像：分别上传起始帧（Start Image）和结束帧（End Image）。
2. 设置轨迹：
   • 手动模式：在图片上点击并拖动关键点，自定义物体的运动路径。
   • 自动模式 (Autopilot)：不绘制轨迹，让模型自动估算关键点运动。
3. 生成视频：点击生成按钮，等待模型输出插值后的视频结果。

示例输入图片已包含在项目的 ./examples 文件夹中，可直接用于测试。