简介

MMFlow 是一个基于 PyTorch 的开源光流工具箱，它是 OpenMMLab 项目的一部分。

主分支支持 PyTorch 1.5+。

https://user-images.githubusercontent.com/76149310/141947796-af4f1e67-60c9-48ed-9dd6-fcd809a7d991.mp4

主要特性

• 首个统一的光流框架

  MMFlow 是第一个提供统一实现和评估光流算法框架的工具箱。

• 灵活且模块化的设计

  我们将光流估计框架分解为不同的组件，这使得通过组合不同模块来构建新模型变得更加容易和灵活。

• 开箱即用的丰富算法和数据集

  该工具箱直接支持流行且现代的光流模型，例如 FlowNet、PWC-Net、RAFT 等，以及代表性数据集 FlyingChairs、FlyingThings3D、Sintel、KITTI 等。

最新动态

v0.5.2 于 2023 年 10 月 1 日发布：

• 添加了 flow1d 注意力机制

详细信息和发布历史请参阅 changelog.md。

安装

请参阅 install.md 获取安装指南，并参考 dataset_prepare.md 进行数据集准备。

开始使用

如果你是光流领域的初学者，可以从 基础知识 开始学习。如果你已经熟悉光流，可以查看 getting_started.md，尝试使用 MMFlow。

欲深入了解，请参考以下教程：

• 配置

• 模型推理

• 微调

• 数据流水线

• 添加新模块

• 自定义运行时

基准测试与模型库

结果和模型可在 模型库 中找到。

支持的方法：

• FlowNet (ICCV'2015)
• FlowNet2 (CVPR'2017)
• PWC-Net (CVPR'2018)
• LiteFlowNet (CVPR'2018)
• LiteFlowNet2 (TPAMI'2020)
• IRR (CVPR'2019)
• MaskFlownet (CVPR'2020)
• RAFT (ECCV'2020)
• GMA (ICCV'2021)

贡献

我们非常欢迎所有有助于改进 MMFlow 的贡献。更多关于贡献指南的信息，请参阅 MMCV 中的 CONTRIBUTING.md。

致谢

MMFlow 是一个开源项目，由来自不同院校和公司的研究人员及工程师共同贡献而成。我们感谢所有实现其方法或添加新功能的贡献者，也感谢那些提供宝贵反馈的用户。我们希望这个工具箱和基准测试能够为不断壮大的研究社区服务，提供一个灵活的工具包，用于重现现有方法并开发新的光流算法。

引用

如果你在研究中使用了本工具箱或基准测试，请引用该项目。

@misc{2021mmflow,
    title={{MMFlow}: OpenMMLab 光流工具箱与基准测试},
    author={MMFlow Contributors},
    howpublished = {\url{https://github.com/open-mmlab/mmflow}},
    year={2021}
}

许可证

本项目采用 Apache 2.0 许可证 发布。

OpenMMLab 中的项目

• MMCV：OpenMMLab 用于计算机视觉的基础库。
• MIM：MIM 用于安装 OpenMMLab 的相关软件包。
• MMClassification：OpenMMLab 图像分类工具箱及基准测试平台。
• MMDetection：OpenMMLab 目标检测工具箱及基准测试平台。
• MMDetection3D：OpenMMLab 面向通用 3D 物体检测的新一代平台。
• MMRotate：OpenMMLab 旋转目标检测工具箱及基准测试平台。
• MMSegmentation：OpenMMLab 语义分割工具箱及基准测试平台。
• MMOCR：OpenMMLab 文本检测、识别与理解工具箱。
• MMPose：OpenMMLab 人体姿态估计工具箱及基准测试平台。
• MMHuman3D：OpenMMLab 3D 人体参数化模型工具箱及基准测试平台。
• MMSelfSup：OpenMMLab 自监督学习工具箱及基准测试平台。
• MMRazor：OpenMMLab 模型压缩工具箱及基准测试平台。
• MMFewShot：OpenMMLab 少样本学习工具箱及基准测试平台。
• MMAction2：OpenMMLab 新一代动作理解工具箱及基准测试平台。
• MMTracking：OpenMMLab 视频感知工具箱及基准测试平台。
• MMFlow：OpenMMLab 光流估计工具箱及基准测试平台。
• MMEditing：OpenMMLab 图像与视频编辑工具箱。
• MMGeneration：OpenMMLab 图像与视频生成模型工具箱。
• MMDeploy：OpenMMLab 模型部署框架。

MMFlow 快速上手指南

MMFlow 是 OpenMMLab 推出的基于 PyTorch 的开源光流（Optical Flow）算法工具箱。它提供了统一的光流算法实现与评估框架，支持 FlowNet、PWC-Net、RAFT 等主流模型。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.7+
• PyTorch: 1.5+
• CUDA: 建议安装 CUDA 10.2 或更高版本以启用 GPU 加速

前置依赖安装： 建议先安装基础依赖库 mmcv。国内用户推荐使用 OpenMMLab 提供的镜像源加速安装：

pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.9.0/index.html
# 注意：请根据实际安装的 CUDA 和 PyTorch 版本替换上述 URL 中的 cu111 和 torch1.9.0

安装步骤

您可以选择通过 pip 直接安装稳定版，或从源码安装以获取最新功能。

方式一：使用 pip 安装（推荐）

pip install mmflow

方式二：从源码安装

git clone https://github.com/open-mmlab/mmflow.git
cd mmflow
pip install -e .

提示：安装完成后，请参考官方文档准备数据集（如 FlyingChairs, Sintel, KITTI 等），具体步骤见 docs/en/dataset_prepare.md。

基本使用

安装完成后，您可以使用提供的脚本进行模型推理。以下是最简单的单张图片光流估计示例。

1. 下载预训练模型

首先从 Model Zoo 下载一个预训练模型（例如 RAFT），假设保存为 raft_8x8_100k_flyingchairs_512x384.pth。

2. 运行推理

使用 demo/flow_inference.py 脚本对两张连续图片进行光流计算并可视化结果：

python demo/flow_inference.py \
    configs/raft/raft_8x8_100k_flyingchairs_512x384.py \
    raft_8x8_100k_flyingchairs_512x384.pth \
    demo/img1.png \
    demo/img2.png \
    --out-dir demo/output

参数说明：

• 第一个参数：模型的配置文件路径。
• 第二个参数：模型权重文件路径。
• 第三、四个参数：输入的两张连续帧图片。
• --out-dir：输出结果目录，包含可视化的光流图和向量场。

3. 查看结果

运行结束后，可在 demo/output 目录下查看生成的光流可视化图像。

如需更深入的教程（如微调模型、自定义数据管道或添加新模块），请参阅官方文档中的 Tutorials 部分。