令人惊叹的光流

这是一份关于光流及相关工作的优秀文章列表。点击此处以全屏阅读。

目录位于“README.md”的右侧。

最近，我撰写了《未来帧合成综述：连接确定性与生成方法》（arXiv链接），欢迎大家阅读。

光流

监督学习模型

时间	论文	代码库
CVPR24	MemFlow: 基于记忆的光流估计与预测	MemFlow
CVPR23	DistractFlow: 通过真实干扰和伪标签改进光流估计
CVPR23	用于预训练光流估计的掩码代价体积自编码	FlowFormerPlusPlus
NeurIPS22	SKFlow: 使用超级核学习光流	SKFlow
ECCV22	解耦光流架构与训练	Autoflow
ECCV22	FlowFormer: 一种用于光流的Transformer架构	FlowFormer
CVPR22	利用核块注意力学习光流	KPAFlow
CVPR22	GMFlow: 通过全局匹配学习光流	gmflow
CVPR22	深度均衡光流估计	deq-flow
ICCV21	基于1D注意力与相关性的高分辨率光流	flow1d
ICCV21	通过全局运动聚合学习隐藏运动	GMA
CVPR21	从少量匹配中学习光流	SCV
TIP21	用于立体匹配和光流的细节保留型粗细匹配
ECCV20	RAFT: 用于光流的循环式全对场变换	RAFT
CVPR20	MaskFlownet: 带可学习遮挡掩码的非对称特征匹配	MaskFlownet
CVPR20	ScopeFlow: 针对光流的动态场景范围划分	ScopeFlow
TPAMI20	一种轻量级光流CNN——重新审视数据保真度与正则化	LiteFlowNet2

多帧监督学习模型

时间	论文	代码库
ECCV24	用于点跟踪的局部全对对应关系
CVPR24	FlowTrack: 为长距离密集跟踪重新审视光流
CVPR24	密集光流跟踪：连接各点	dot
ICCV23	同时、处处、追踪一切	omnimotion
ICCV23	AccFlow: 用于长距离光流的反向累积	AccFlow
ICCV23	VideoFlow: 利用时间线索进行多帧光流估计	VideoFlow
ECCV22	重访粒子视频：利用点轨迹穿越遮挡进行跟踪	PIPs

半监督学习模型

时间	论文	代码库
ECCV22	由光流监督器实现的光流半监督学习

数据合成

时间	论文	仓库
ECCV22	RealFlow: 基于EM的从视频生成逼真光流数据集	RealFlow
CVPR21	AutoFlow: 学习更好的光流训练集	autoflow
CVPR21	从静态图像中学习光流	depthstillation
arXiv21.04	从无配对图像合成光流数据集

无监督模型

时间	论文	仓库
ECCV22	通过主动学习在有限标注预算下进行光流训练	optical-flow-active-learning-release
CVPR21	SMURF: 自我教学的多帧无监督RAFT，带全图变形	smurf GoogleResearch
CVPR21	UPFlow: 用于无监督光流学习的上采样金字塔	UPFlow_pytorch
TIP21	OccInpFlow: 基于无监督学习的遮挡修复光流估计	depthstillation
ECCV20	无监督光流中什么最重要	uflow GoogleResearch
CVPR20	类比学习：通过变换获得可靠的监督信号以进行无监督光流估计	ARFlow
CVPR20	Flow2Stereo: 光流与立体匹配的有效自监督学习

联合学习

时间	论文	仓库
arXiv21.11	统一光流、立体和深度估计	unimatch
CVPR21	EffiScene: 针对无监督联合学习光流、深度、相机姿态和运动分割的高效逐像素刚性推理
CVPR21	特征级协作：光流、立体深度和相机运动的联合无监督学习

特殊场景

时间	论文	仓库
CVPR23	针对雾天场景光流的无监督累积域适应	UCDA-Flow
ECCV22	基于多投影融合的深度360°光流估计
AAAI21	从单张运动模糊图像中估计光流
CVPR20	使用半监督学习处理浓雾场景中的光流
CVPR20	黑暗中的光流	Optical-Flow-in-the-Dark

特殊设备

事件相机 event-based_vision_resources

时间	论文	仓库
ArXiv23.03	利用渲染数据集从事件相机学习光流
ECCV22	基于事件的光流的秘密	event_based_optical_flow
ICCV21	GyroFlow: 陀螺仪引导的无监督光流学习	GyroFlow

场景流

时间	论文	仓库
CVPR21	RAFT-3D: 使用刚体运动嵌入的场景流
CVPR21	顺其自然：自监督场景流估计	Just-Go-with-the-Flow-Self-Supervised-Scene-Flow-Estimation
CVPR21	从两帧中学习分割刚体运动	rigidmask
CVPR20	通过光学膨胀将光流升级为3D场景流	expansion
CVPR20	自监督单目场景流估计	self-mono-sf

应用

视频合成/生成

时间	论文	仓库
ECCV24	更清晰的帧，随时可用：解决视频帧插值中的速度模糊问题	InterpAny-Clearer
arXiv23.11	MoVideo：基于扩散模型的运动感知视频生成
CVPR24	FlowVid：驯服不完美的光流以实现一致的视频到视频合成
WACV24	用于高效时空视频超分辨率的尺度自适应特征聚合	SAFA
CVPR23	用于视频预测的动态多尺度体素流网络	DMVFN
CVPR23	基于潜在流扩散模型的条件图像到视频生成	LFDM
CVPR23	用于视频帧插值的统一金字塔递归网络	UPR-Net
CVPR23	通过帧间注意力提取运动和外观信息以实现高效的视频帧插值	EMA-VFI
WACV23	利用隐式流编码进行动态场景的帧插值	frameintIFE
ACMMM22	基于光流的视频帧合成中的邻域对应匹配
ECCV22	提升2D动画插值的感知质量	eisai
ECCV22	用于视频帧插值的实时中间流估计	RIFE
CVPR22	VideoINR：学习视频隐式神经表示以实现连续时空超分辨率	VideoINR
CVPR22	IFRNet：用于高效帧插值的中间特征精炼网络	IFRNet
TOG21	渲染内容的神经帧插值
CVPR21	野外环境下的深度动画视频插值	AnimeInterp
CVPR20	用于视频帧插值的Softmax Splatting	softmax-splatting
CVPR20	用于视频帧插值的流自适应协作	AdaCoF-pytorch
CVPR20	FeatureFlow：通过结构到纹理的生成实现鲁棒的视频插值	FeatureFlow

视频修复

时间	论文	仓库
ECCV22	用于视频修复的流引导Transformer	FGT
CVPR22	惯性引导的光流补全与风格融合用于视频修复	isvi

视频稳定

时间	论文	仓库
CVPR20	利用光流学习视频稳定	jiyang.fun

低层视觉

时间	论文	仓库
ICCV21	多帧超分辨率与去噪的深度重参数化	deep-rep
CVPR21	深度突发超分辨率	deep-burst-sr
CVPR20	利用空间变换单元网络结合光流指导训练实现高效的动态场景去模糊
TIP20	利用高分辨率光流估计进行深度视频超分辨率	SOF-VSR

立体视觉与SLAM

时间	论文	仓库
3DV21	RAFT-Stereo：用于立体匹配的多级递归场变换	RAFT-Stereo
CVPR20	VOLDOR：基于对数逻辑密集光流残差的视觉里程计	VOLDOR

2020年之前

经典估计方法

时间	论文	仓库
IJCAI1981	一种用于立体视觉的迭代图像配准技术
AI1981	确定光流
TPAMI10	保持运动细节的光流估计
CVPR10	光流估计的秘密及其原理
ICCV13	DeepFlow：基于深度匹配的大位移光流	项目
ECCV14	基于通道恒定性的光流估计
CVPR17	S2F：慢速到快速插值光流

其他

时间	论文	仓库
NeurIPS19	用于光流的体积对应网络	VCN
CVPR19	用于联合光流和遮挡估计的迭代残差精炼	irr
CVPR18	PWC-Net：使用金字塔、变形和代价体的光流CNN	PWC-Net
CVPR18	LiteFlowNet：用于光流估计的轻量级卷积神经网络	LiteFlowNet
CVPR17	FlowNet 2.0：基于深度网络的光流估计演进	flownet2-pytorch flownet2 flownet2-tf
CVPR17	使用空间金字塔网络进行光流估计	spynet
ICCV15	FlowNet：使用卷积网络学习光流	FlowNetPytorch
AAAI19	DDFlow：利用无标签数据蒸馏学习光流	DDFlow
CVPR19	SelFlow：自监督学习光流	SelFlow
CVPR19	适用于静态或动态场景的无监督深度极线光流	EPIFlow
CVPR18	密集深度、光流和相机姿态的无监督学习	GeoNet
ICCV19	RainFlow：雨线与雨幕效应下的光流
CVPR18	雨天场景中鲁棒的光流估计
NIPS19	二次视频插帧
CVPR19	深度感知视频帧插值	DAIN
CVPR18	Super SloMo：高质量估算多帧中间帧以进行视频插值	Super-SloMo
ICCV17	使用深度体素流进行视频帧合成	voxel-flow
CVPR19	DVC：端到端的深度视频压缩框架	PyTorchVideoCompression
ICCV17	SegFlow：视频目标分割与光流的联合学习	SegFlow
CVPR18	具有时空注意力的端到端光流相关性跟踪
CVPR18	光流引导特征：一种快速且鲁棒的运动表示，用于视频动作识别	Optical-Flow-Guided-Feature
GCPR18	关于光流与动作识别的融合
CVPR14	用于视频稳定的空间平滑光流

Awesome-Optical-Flow 快速上手指南

Awesome-Optical-Flow 并非单一的可执行软件，而是一个精选的光流（Optical Flow）相关论文、代码库和数据集的开源列表。本指南将指导开发者如何利用该列表快速找到适合的光流模型（如 RAFT, GMFlow, FlowFormer 等），并以列表中热门的 RAFT 模型为例，演示环境搭建与基本使用流程。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求。大多数现代光流模型依赖 PyTorch 和 CUDA 进行加速。

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 macOS (部分模型支持，但推理速度较慢)。
• 硬件要求: NVIDIA GPU (建议显存 ≥ 4GB)，已安装对应的 CUDA Toolkit (通常建议 11.1+)。
• 前置依赖:
  • Python 3.7+
  • Git
  • Conda (推荐用于管理虚拟环境)

2. 安装步骤

由于列表中包含多个独立项目，以下步骤以经典的 RAFT 模型为例展示通用安装流程。其他模型的安装逻辑类似，请参考对应仓库的 README。

2.1 创建虚拟环境

conda create -n optical_flow python=3.8
conda activate optical_flow

2.2 安装 PyTorch (推荐使用国内镜像源)

访问 PyTorch 官网 获取对应命令，或使用清华源加速安装：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

(注：请根据您的实际 CUDA 版本调整 cu118 参数)

2.3 克隆目标仓库并安装依赖

以 RAFT 为例：

# 克隆代码
git clone https://github.com/princeton-vl/RAFT.git
cd RAFT

# 安装核心依赖
pip install -r requirements.txt

# 安装 corrcheck 和 altcorr 扩展 (光流模型常用自定义算子)
cd core/utils
python setup.py build_ext --inplace
cd ../../

提示：若遇到网络问题克隆 GitHub 仓库失败，可尝试使用 Gitee 镜像或配置代理。

3. 基本使用

安装完成后，您可以下载预训练权重并对图像对进行光流估计。

3.1 下载预训练模型

大多数仓库提供直接下载的脚本或链接。以 RAFT 为例：

wget https://dl.dropboxusercontent.com/s/4j4z58wuv8o0mfz/models.zip
unzip models.zip

3.2 运行推理示例

使用提供的演示脚本处理两张图片（frame1 和 frame2），生成光流图。

python demo.py --model=models/raft-things.pth --path=demo-frames

参数说明：

• --model: 指定预训练权重路径（如 raft-things.pth 或 raft-sintel.pth）。
• --path: 输入图像文件夹路径或单张图像路径。
• --mixed_precision: (可选) 启用混合精度推理以加快速度。

3.3 探索更多模型

回到 Awesome-Optical-Flow 列表，您可以根据需求选择不同特性的模型：

• 高精度: 参考 FlowFormer, GMFlow (CVPR 2022)。
• 长序列跟踪: 参考 FlowTrack, AccFlow (CVPR/ICCV 2023-2024)。
• 无监督学习: 参考 UPFlow, SMURF。
• 特殊场景: 如雾天 (UCDA-Flow) 或暗光环境 (Optical-Flow-in-the-Dark)。

只需替换上述“安装步骤”中的仓库地址和对应的运行命令即可切换模型。