此工作现已被以下项目取代：https://github.com/sniklaus/revisiting-sepconv

sepconv-slomo

这是使用 PyTorch 实现的《基于自适应可分离卷积的视频帧插值》[1] 的参考实现。给定两帧，它将以可分离的方式利用 自适应卷积 [2] 来插值中间帧。如果您使用了我们的工作，请引用我们的论文 [1]。

有关我们工作的重新实现，请参见：https://github.com/martkartasev/sepconv
另一个改编版本，请考虑：https://github.com/HyeongminLEE/pytorch-sepconv
关于 softmax splatting，请参见：https://github.com/sniklaus/softmax-splatting

安装

可分离卷积层使用 CuPy 通过 CUDA 实现，因此 CuPy 是必需的依赖项。可以通过 pip install cupy 安装，或者使用 CuPy 仓库中提供的 二进制包 进行安装。

如果您计划处理视频，请确保安装了 pip install moviepy。

使用方法

要在您自己的帧对上运行，请使用以下命令。您可以选择 l1 或 lf 模型，请参阅我们的论文以获取更多详细信息。简而言之，l1 模型应用于定量评估，而 lf 模型用于定性比较。

python run.py --model lf --one ./images/one.png --two ./images/two.png --out ./out.png

要在视频上运行，请使用以下命令。

python run.py --model lf --video ./videos/car-turn.mp4 --out ./out.mp4

要使用来自 Middlebury 光流基准测试的示例进行快速基准测试，请运行 python benchmark.py。您可以使用它轻松验证所提供的实现是否按预期运行。

视频

许可

所提供的实现严格限于学术用途。如果您有兴趣将我们的技术用于任何商业用途，请随时联系我们。

参考文献

[1]  @inproceedings{Niklaus_ICCV_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Separable Convolution},
         booktitle = {IEEE International Conference on Computer Vision},
         year = {2017}
     }

[2]  @inproceedings{Niklaus_CVPR_2017,
         author = {Simon Niklaus and Long Mai and Feng Liu},
         title = {Video Frame Interpolation via Adaptive Convolution},
         booktitle = {IEEE Conference on Computer Vision and Pattern Recognition},
         year = {2017}
     }

致谢

这项工作得到了 NSF IIS-1321119 的支持。上述视频使用了 Creative Commons 许可或经版权所有者许可的材料，详情请参见结尾。

sepconv-slomo 快速上手指南

sepconv-slomo 是一个基于 PyTorch 的视频帧插值工具，使用自适应可分离卷积技术生成中间帧。以下是快速上手指南。

---

环境准备

系统要求

• 支持 CUDA 的 GPU（推荐）
• Python 3.6 或更高版本
• Linux 或 macOS（Windows 上需要额外配置 CUDA）

前置依赖

• CuPy：用于实现 CUDA 加速的可分离卷积层。
• MoviePy（可选）：如果需要处理视频文件，请安装此库。

---

安装步骤

1. 克隆项目代码：

   git clone https://github.com/sniklaus/sepconv-slomo.git
   cd sepconv-slomo
   

2. 安装 CuPy：

   pip install cupy
   

   如果下载速度较慢，可以使用国内镜像源加速：

   pip install cupy -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. （可选）安装 MoviePy：

   pip install moviepy
   

4. 下载预训练模型：

   • 模型文件可以通过运行脚本时自动下载，或手动从项目文档中获取。

---

基本使用

插值两张图片

使用以下命令对两张图片进行帧插值：

python run.py --model lf --one ./images/one.png --two ./images/two.png --out ./out.png

• --model lf：选择 lf 模型（适合定性比较）。
• --one 和 --two：输入的两张图片路径。
• --out：输出结果图片路径。

处理视频

使用以下命令对视频进行帧插值：

python run.py --model lf --video ./videos/car-turn.mp4 --out ./out.mp4

• --video：输入视频文件路径。
• --out：输出结果视频路径。

快速基准测试

运行以下命令以验证实现是否正常工作：

python benchmark.py

该命令会使用 Middlebury 光流基准测试中的示例进行快速评估。

---

注意事项

• 本实现仅供学术用途。如需商业用途，请联系作者。
• 更多细节请参考论文 Video Frame Interpolation via Adaptive Separable Convolution。