FlowNetPytorch

由Dosovitskiy等人提出的FlowNet的PyTorch实现。

本仓库是Alexey Dosovitskiy等人在PyTorch中对FlowNet的实现。请参阅Torch实现此处。

此代码主要受官方imagenet示例的启发。目前尚未针对多GPU进行测试，但应该能够像原始代码一样正常工作。

代码提供了一个使用飞椅数据集并结合数据增强的训练示例。未来可能会添加针对场景流数据集的实现。

当前提供了两种神经网络模型及其批归一化变体（实验性）：

• FlowNetS
• FlowNetSBN
• FlowNetC
• FlowNetCBN

预训练模型

感谢Kaixhin，您可以在weights文件夹中下载FlowNetS的预训练版本（来自Caffe，而非PyTorch）。该文件夹还包含从头开始训练的网络。

关于加载网络的说明

直接将下载的网络文件输入脚本即可，无需解压，即使您的桌面环境提示需要解压也无需操作。

关于Caffe中的网络

这些网络期望输入为BGR格式（而PyTorch中为RGB格式）。不过，BGR顺序并不十分关键。

前置条件

以下模块可以通过pip安装：

pytorch >= 1.2
tensorboard-pytorch
tensorboardX >= 1.4
spatial-correlation-sampler>=0.2.1
imageio
argparse
path.py

或者

pip install -r requirements.txt

在飞椅数据集上训练

首先，您需要下载飞椅数据集。该数据集约64GB，建议将其放置在SSD硬盘上。

main.py中提供的默认超参数与Caffe训练脚本中的设置相同。

• FlowNetS的使用示例：

python main.py /path/to/flying_chairs/ -b8 -j8 -a flownets

我们建议在使用数据增强时将线程数j设置得较高，以避免数据加载拖慢训练速度。

如需进一步帮助，可以输入：

python main.py -h

可视化训练过程

使用Tensorboard-pytorch进行日志记录。要可视化结果，只需输入：

tensorboard --logdir=/path/to/checkpoints

训练结果

模型可在weights文件夹中下载。

除非另有说明，模型均采用默认选项进行训练。未使用颜色扭曲技术。

架构	学习率	批量大小	epoch数量	文件名	验证EPE
FlowNetS	1e-4	8	2700	flownets_EPE1.951.pth.tar	1.951
FlowNetS BN	1e-3	32	695	flownets_bn_EPE2.459.pth.tar	2.459
FlowNetC	1e-4	8	2700	flownetc_EPE1.766.pth.tar	1.766

注：FlowNetS BN训练时间更长且效果较差，强烈建议不要用于飞椅数据集。

验证样本

预测由FlowNetS完成。

光流到颜色图的完整代码可在此处找到。

输入	预测	真实值

对一组图像对进行推理

如果您需要在自己的图像上运行该网络，可以从这里下载预训练网络，并在您的图像对文件夹上运行推理脚本。

您的文件夹需要将所有图像对放在同一位置，文件命名模式为：

{image_name}1.{ext}
{image_name}2.{ext}

python3 run_inference.py /path/to/images/folder /path/to/pretrained

与main.py脚本类似，推理脚本也提供帮助菜单以供选择其他选项。

关于变换函数的说明

为了使输入和目标之间的变换保持一致，我们必须定义同时作用于输入和目标的新变换，因为每次调用随机变换时都会生成一个新的随机变量。

光流变换

为了实现数据增强，我们考虑了输入的旋转和平移，以及它们对目标光流图的影响。以下是实现正确数据增强需要注意的几点：

光流图直接与img1相关联

如果对img1应用变换，必须对光流图应用完全相同的变换，以确保光流的起点一致。

img1和img2之间的平移

假设对img2施加一个平移(tx,ty)，则有：

flow[:,:,0] += tx
flow[:,:,1] += ty

缩放

对img1和img2同时应用缩放，缩放参数为alpha，光流也会相应地放大或缩小：

flow *= alpha

对两幅图像同时进行旋转

对两幅图像同时按角度theta旋转时，光流向量(flow[i,j])也会旋转相同的角度：

\for_all i,j flow[i,j] = rotate(flow[i,j], theta)

rotate: x,y,theta ->  (x*cos(theta)-x*sin(theta), y*cos(theta), x*sin(theta))

仅对img2进行旋转

假设以图像中心为基准旋转角度theta。

我们必须根据每个光流向量所处的位置来调整其方向。对于每个坐标(i, j)，有：

flow[i, j, 0] += (cos(theta) - 1) * (j  - w/2 + flow[i, j, 0]) +    sin(theta)    * (i - h/2 + flow[i, j, 1])
flow[i, j, 1] +=   -sin(theta)    * (j  - w/2 + flow[i, j, 0]) + (cos(theta) - 1) * (i - h/2 + flow[i, j, 1])

FlowNetPytorch 快速上手指南

FlowNetPytorch 是 Dosovitskiy 等人提出的 FlowNet 光流估计模型的 PyTorch 实现。本指南将帮助你快速配置环境并运行基础训练与推理。

环境准备

系统要求

• Python: 建议 Python 3.6+
• GPU: 推荐使用 NVIDIA GPU（虽未正式测试多卡，但单卡运行稳定）
• 存储: 若需训练，建议准备 SSD 硬盘（Flying Chairs 数据集约 64GB）

前置依赖

请确保已安装以下核心库：

• pytorch >= 1.2
• tensorboardX >= 1.4
• spatial-correlation-sampler >= 0.2.1
• imageio, argparse, path.py

国内加速建议：安装 PyTorch 时推荐使用清华或中科大镜像源，例如： pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/ClementPinard/FlowNetPytorch.git
   cd FlowNetPytorch
   

2. 安装依赖包 可以直接使用项目提供的 requirements 文件进行安装：

   pip install -r requirements.txt
   

   注：若 spatial-correlation-sampler 安装失败，可能需要先安装 CUDA toolkit 对应的开发包。

3. 下载预训练模型（可选） 如果仅需推理，可从 weights 文件夹或作者提供的链接下载预训练权重。无需解压直接放入对应目录即可。

基本使用

1. 数据准备

下载 Flying Chairs 数据集 并解压。

提示：国内用户若下载缓慢，可尝试寻找国内镜像站点的资源。

2. 开始训练

使用默认超参数训练 FlowNetS 模型：

python main.py /path/to/flying_chairs/ -b8 -j8 -a flownets

• /path/to/flying_chairs/: 替换为你的数据集实际路径。
• -b8: 批大小 (Batch Size) 设为 8。
• -j8: 数据加载线程数设为 8（使用数据增强时建议调高此值以避免 IO 瓶颈）。
• -a flownets: 指定架构为 FlowNetS（可选：flownets_bn, flownetc, flownetc_bn）。

查看完整帮助信息：

python main.py -h

3. 可视化训练过程

项目使用 TensorBoard 记录日志。启动服务查看训练曲线：

tensorboard --logdir=/path/to/checkpoints

然后在浏览器访问显示的地址（通常为 http://localhost:6006）。

4. 执行推理 (Inference)

对自定义图像对进行光流预测。

图片命名规范： 将待处理的图片对放在同一文件夹下，命名格式必须为：

{image_name}1.{ext}
{image_name}2.{ext}

例如：frame001_1.png 和 frame001_2.png。

运行命令：

python3 run_inference.py /path/to/images/folder /path/to/pretrained

• /path/to/images/folder: 包含图片对的文件夹路径。
• /path/to/pretrained: 预训练模型文件路径（如 weights/flownets_EPE1.951.pth.tar）。

注意：若使用从 Caffe 转换的预训练模型，输入图像默认为 BGR 格式，但通常对最终结果影响不大。