我们提出了概率形变一致性这一弱监督学习目标，用于语义匹配任务。我们的方法直接监督网络预测的密集匹配分数，这些分数被编码为条件概率分布。我们首先通过将一对展示同一类别不同实例的图像中的其中一张应用已知的形变，构建一个图像三元组。然后利用由此产生的图像三元组所形成的约束条件，推导出我们的概率学习目标。为了进一步考虑真实图像对中存在的遮挡和背景杂乱情况，我们将可学习的未匹配状态扩展到了我们的概率输出空间中。为此，我们设计了一个针对展示不同类别物体的图像对的目标函数来监督这一状态。我们通过将其应用于四种近期的语义匹配架构来验证了我们的方法。我们的弱监督方法在四个具有挑战性的语义匹配基准测试中达到了新的最先进水平。最后，我们还证明，当与关键点标注结合使用时，我们的目标函数在强监督模式下也能带来显著的提升。

形变一致性图	结果

学习密集对应关系的关键挑战在于缺乏真实图像对的真值匹配。虽然光度一致性损失提供了一种无监督的替代方案，但它们难以应对外观变化较大的情况，而这种变化在几何和语义匹配任务中非常常见。此外，依赖于合成训练对的方法往往难以泛化到真实数据上。 我们提出了形变一致性这一无监督学习目标，用于密集对应关系回归任务。即使在外观和视角变化较大的情况下，我们的目标仍然有效。给定一对真实图像，我们首先通过将其中一个原始图像应用随机采样的形变，构建一个图像三元组。随后，我们推导并分析三元组之间产生的一切光流一致性约束条件。基于我们的观察和实验结果，我们设计了一个通用的无监督目标函数，该函数采用了其中两个推导出的约束条件。 我们通过训练三种近期的密集对应网络来验证形变一致性损失在几何和语义匹配任务中的有效性。我们的方法在多个具有挑战性的基准测试中达到了新的最先进水平，包括 MegaDepth、RobotCar 和 TSS。

在大位移或同质区域的情况下，稠密光流估计通常不够准确。对于大多数应用和下游任务，例如姿态估计、图像操作或三维重建，关键在于知道何时以及在哪里可以信任估计出的匹配结果。 在本工作中，我们旨在估计两幅图像之间的稠密光流场，并同时生成一个鲁棒的像素级置信度图，以指示预测的可靠性和准确性。我们开发了一种灵活的概率方法，联合学习光流预测及其不确定性。特别地，我们将预测分布参数化为一种受约束的混合模型，从而更好地建模准确的光流预测和异常值。此外，我们还设计了一种针对自监督训练场景下鲁棒且可泛化的不确定性预测的架构和训练策略。

特征相关层是许多涉及图像对之间稠密对应关系的计算机视觉问题中的关键神经网络模块。它通过计算两幅图像中成对位置提取的特征向量之间的密集标量积来预测对应体积。然而，在需要区分图像中多个相似区域时，这种点对点的特征比较是不够的，会严重降低最终任务的性能。 本工作提出了GOCor，一个完全可微分的稠密匹配模块，可直接替代特征相关层。 我们的模块生成的对应体积是内部优化过程的结果，该过程明确考虑了场景中的相似区域。此外，我们的方法能够有效地学习空间匹配先验，以进一步解决匹配歧义。

PDC-Net 和 PDC-Net+ 具有多种推理替代选项。 如果模型是 PDC-Net，则需添加以下选项：

• --confidence_map_R，用于计算置信度图 p_r，默认值为 1.0
• --multi_stage_type 可选：
  • 'D'（或 'direct'）
  • 'H'（或 'homography_from_quarter_resolution_uncertainty'）
  • 'MS'（或 'multiscale_homo_from_quarter_resolution_uncertainty'）
• --ransac_thresh，用于单应性和多尺度多阶段类型，默认值为 1.0
• --mask_type，用于对估计的置信度图进行阈值处理，并使用置信匹配点进行内部单应性估计，适用于单应性和多尺度多阶段类型，默认值为 proba_interval_1_above_5
• --homography_visibility_mask，默认值为 True
• --scaling_factors，用于多尺度方法，默认值为 [0.5, 0.6, 0.88, 1, 1.33, 1.66, 2]

当图像对仅表现出有限的视角变化时（例如视频中的连续帧，类似于光流任务），请使用直接方式 ('D')。对于较大的视角变化，请使用单应性 ('H') 或多尺度 ('MS')。

例如，要以单应性方式运行 PDC-Net 或 PDC-Net+，可在命令末尾添加：

PDCNet --multi_stage_type H --mask_type proba_interval_1_above_10

PDC-Net 和 PDC-Net+ 具有多种推理替代选项。 如果模型是 PDC-Net，则需添加以下选项：

• --confidence_map_R，用于计算置信度图 p_r，默认值为 1.0
• --multi_stage_type，可选：
  • 'D'（或 'direct'）
  • 'H'（或 'homography_from_quarter_resolution_uncertainty'）
  • 'MS'（或 'multiscale_homo_from_quarter_resolution_uncertainty'）
• --ransac_thresh，用于单应性和多尺度多阶段类型，默认值为 1.0
• --mask_type，用于对估计的置信度图进行阈值化，并使用置信匹配进行内部单应性估计，适用于单应性和多尺度多阶段类型，默认值为 proba_interval_1_above_5
• --homography_visibility_mask，默认值为 True
• --scaling_factors，用于多尺度情况，默认值为 [0.5, 0.6, 0.88, 1, 1.33, 1.66, 2]

例如，要使用单应性运行 PDC-Net 或 PDC-Net+，可在命令末尾添加：

PDCNet --multi_stage_type H --mask_type proba_interval_1_above_10

使用 PDC-Net 的多阶段（homography_from_quarter_resolution_uncertainty，H）或多尺度（multiscale_homo_from_quarter_resolution_uncertainty，MS）时，内部会采用 RANSAC 方法。因此，结果可能会略有差异，但应在 1-2% 以内。 对于姿态估计，我们也使用 RANSAC 计算姿态，这会导致结果存在一定变异性。

数据准备: 我们使用 RANSAC-Flow 提供的测试集。 该测试集由 1600 对图像组成，并附带一个 CSV 文件（'test1600Pairs.csv'），其中包含待评估的图像对名称及相应的地面真实对应关系。 可通过以下命令下载所有内容：

bash assets/download_megadepth_test.sh

最终的文件结构如下：

megadepth_test_set/
└── MegaDepth/
    └── Test/
        └── test1600Pairs/
        └── test1600Pairs.csv

评估: 在 admin/local.py 中更新 'megadepth' 和 'megadepth_csv' 的路径后，即可通过以下命令进行评估：

python eval_matching.py --dataset megadepth --model PDCNet --pre_trained_models megadepth --optim_iter 3 --local_optim_iter 7 --save_dir 保存目录路径 PDCNet --multi_stage_type MS

预计可获得类似的结果：

数据准备: 图像可以从 视觉定位挑战赛 下载（位于网站底部），更准确地说是从 这里 获取。
包含真实标注对应关系的 CSV 文件可从 这里 下载。
文件结构应如下所示：

RobotCar
├── img/
└── test6511.csv

评估: 在 admin/local.py 中更新 'robotcar' 和 'robotcar_csv' 的路径后，使用以下命令运行评估：

python eval_matching.py --dataset robotcar --model PDCNet --pre_trained_models megadepth --optim_iter 3 --local_optim_iter 7 --save_dir path_to_save_dir PDCNet --multi_stage_type MS

应得到类似的结果：

数据准备: 在我们的 GLU-Net 仓库 中执行 'bash assets/download_ETH3D.sh'。
该脚本会完成以下操作：

• 创建根目录 ETH3D/，并在其中创建两个子目录 multiview_testing/ 和 multiview_training/。
• 从 这里 下载“低分辨率多视角、训练数据、所有畸变图像”，并将其解压到 multiview_training/ 目录中。
• 从 这里 下载“低分辨率多视角、测试数据、所有未畸变图像”，并将其解压到 multiview_testing/ 目录中。
• 我们直接提供了以不同间隔拍摄的图像对之间的对应关系。每个数据集和每种间隔速率都有一份打包文件，例如 “lakeside_every_5_rate_of_3”。
  这意味着我们每隔 5 张源图像采样一次，而目标图像则是在每张源图像的基础上按特定速率选取的。所有这些文件均可从 这里 下载并解压。

作为示例，您的 ETH3D 根目录应按如下方式组织：

/ETH3D/
       multiview_testing/
                        lakeside/
                        sand_box/
                        storage_room/
                        storage_room_2/
                        tunnel/
       multiview_training/
                        delivery_area/
                        electro/
                        forest/
                        playground/
                        terrains/
        info_ETH3D_files/

目录的组织非常重要，因为打包文件中包含了相对于 ETH3D 根目录的图像相对路径。

评估: 对于每种间隔速率（3、5、7、9、11、13、15），我们都会计算各个子数据集（如 lakeside、delivery area 等）的指标。最终的指标是各速率下所有数据集的平均值。
在 admin/local.py 中更新 'eth3d' 的路径后，使用以下命令运行评估：

python eval_matching.py --dataset robotcar --model PDCNet --pre_trained_models megadepth --optim_iter 3 --local_optim_iter 7 --save_dir path_to_save_dir PDCNet --multi_stage_type D

图像对之间不同间隔速率下的 PCK-1：

请注意，PCK 是 逐图像 计算的，然后按序列取平均值。最终的指标是所有序列的平均值。这对应于输出的指标文件中的 '_per_image' 结果。
需要注意的是，这与 PDC-Net 论文 中使用的指标不同，在那篇论文中，PCK 是 按序列 计算的，采用的是 PDC-Net 的直接方法（对应于输出指标文件中的 '-per-rate' 结果）。

PCK-5 对于不同图像对间隔率的情况：

数据准备: 使用以下命令下载数据：

bash assets/download_hpatches.sh

每个视点ID对应的CSV文件，其中包含图像路径和对应图像对之间的单应性参数，列在assets/目录中。

评估: 在admin/local.py中更新'hp'的路径后，使用以下命令进行评估：

python eval_matching.py --dataset hp --model GLUNet_GOCor --pre_trained_models static --optim_iter 3 --local_optim_iter 7 --save_dir path_to_save_dir

应得到类似的结果：

数据准备: KITTI-2012和2015数据集均可在此处获取 http://www.cvlibs.net/datasets/kitti/eval_flow.php

评估: 在admin/local.py中更新'kitti2012'和'kitti2015'的路径后，使用以下命令进行评估：

python eval_matching.py --dataset kitti2015 --model PDCNet --pre_trained_models megadepth --optim_iter 3 --local_optim_iter 7 PDCNet --multi_stage_type direct

应得到类似的结果：

数据准备: 使用以下命令下载数据

bash assets/download_sintel.sh

评估: 在 admin/local.py 中更新 'sintel' 的路径后，使用以下命令进行评估：

python eval_matching.py --dataset sintel --model PDCNet --pre_trained_models megadepth --optim_iter 3 --local_optim_iter 7 --save_dir path_to_save_dir PDCNet --multi_stage_type direct

应得到类似的结果：

数据准备: 要下载图像，请运行：

bash assets/download_tss.sh

评估: 在 admin/local.py 中更新 'tss' 的路径后，使用以下命令进行评估：

python eval_matching.py --dataset TSS --model GLUNet_GOCor --pre_trained_models static --optim_iter 3 --local_optim_iter 7 --flipping_condition True --save_dir path_to_save_dir

应得到类似的结果：

数据准备: 要下载图像，请运行：

bash assets/download_pf_willow.sh

评估：在 admin/local.py 中更新 'PFWillow' 的路径后，使用以下命令运行评估：

python eval_matching.py --dataset PFWillow --model WarpCSemanticGLUNet --pre_trained_models pfpascal --flipping_condition False --save_dir path_to_save_dir

应得到类似的结果：

数据准备：要下载图像，运行：

bash assets/download_spair.sh

评估：在 admin/local.py 中更新 'spair' 的路径后，使用以下命令运行评估：

python eval_matching.py --dataset spair --model WarpCSemanticGLUNet --pre_trained_models pfpascal  --flipping_condition False --save_dir path_to_save_dir

应得到类似的结果：

数据准备：要下载图像，运行：

bash assets/download_caltech.sh

评估：在 admin/local.py 中更新 'spair' 的路径后，使用以下命令运行评估：

python eval_matching.py --dataset caltech --model WarpCSemanticGLUNet --pre_trained_models pfpascal  --flipping_condition False --save_dir path_to_save_dir

数据准备：YFCC 的真值标注文件为 assets/yfcc_test_pairs_with_gt_original.txt（来自 SuperGlue 仓库）。 图像可以从 OANet 仓库 下载，并移动到所需位置：

bash assets/download_yfcc.sh

文件结构应为：

YFCC
└──  images/
       ├── buckingham_palace/
       ├── notre_dame_front_facade/
       ├── reichstag/
       └── sacre_coeur/

评估：在 admin/local.py 中更新 'yfcc' 的路径后，使用 PDC-Net 单应矩阵 (H) 在 YFCC100M 上计算指标，命令如下：

python -u eval_pose_estimation.py --dataset YFCC --model PDCNet --pre_trained_models megadepth --optim_iter 3  --local_optim_iter 7 --estimate_at_quarter_reso True --mask_type_for_pose_estimation proba_interval_1_above_10 --save_dir path_to_save_dir PDCNet --multi_stage_type H --mask_type proba_interval_1_above_10 

您应该会得到类似的指标（由于 RANSAC 的影响，可能不会完全相同）：

数据准备：ScanNet 测试集的图像（100 场景，scene0707_00 至 scene0806_00）在此处提供： 这里。 这些图像提取自 ScanNet GitHub 仓库，并经过处理。 我们使用 SuperGlue 仓库 提供的真值标注文件 assets/scannet_test_pairs_with_gt.txt。

评估：在 admin/local.py 中更新 'scannet_test' 的路径后，使用 PDC-Net 单应矩阵 (H) 在 ScanNet 上计算指标，命令如下：

python -u eval_pose_estimation.py --dataset scannet --model PDCNet --pre_trained_models megadepth --optim_iter 3  --local_optim_iter 7 --estimate_at_quarter_reso True --mask_type_for_pose_estimation proba_interval_1_above_10 --save_dir path_to_save_dir PDCNet --multi_stage_type H --mask_type proba_interval_1_above_10 

您应该会得到类似的指标（由于 RANSAC 的影响，可能不会完全相同）：

这是与 GLU-Net 仓库 中使用的相同图像对。 在训练过程中，我们结合使用了 DPED、CityScapes 和 ADE-20K 数据集。 DPED 训练数据集仅由四台不同相机拍摄的约 5000 组图像组成。 我们使用其中两台相机的图像，最终得到大约 10,000 张图像。 CityScapes 额外增加了约 23,000 张图像。 我们再从 ADE-20K 中随机抽取一些最低分辨率为 750x750 的图像作为补充。 这样总共得到了 40,000 张原始图像，通过对其施加几何变换来生成训练用的图像对。 原始图像的路径以及几何变换参数均记录在 CSV 文件中： 'assets/csv_files/homo_aff_tps_train_DPED_CityScape_ADE.csv' 和 'assets/csv_files/homo_aff_tps_test_DPED_CityScape_ADE.csv'。

1. 下载原始图像

• 下载 DPED 数据集 (54 GB) ==> 图像将被存放在 original_images/ 目录下

• 下载 CityScapes 数据集

  • 下载 'leftImg8bit_trainvaltest.zip' (11GB，包含训练、验证和测试集的左视图8位图像，共5000张) ==> 图像将被存放在 CityScape/ 目录下
  • 下载 leftImg8bit_trainextra.zip (44GB，包含额外训练集的左视图8位图像，共19998张) ==> 图像将被存放在 CityScape_extra/ 目录下

• 下载 ADE-20K 数据集 (3.8 GB，20,210 张图像) ==> 图像将被存放在 ADE20K_2016_07_26/ 目录下

请将所有数据集放置在同一目录下。示例性的根训练目录结构如下：

training_datasets/
    ├── original_images/
    ├── CityScape/
    ├── CityScape_extra/
    └── ADE20K_2016_07_26/

2. 将合成图像对及光流保存至磁盘
   在训练过程中，可以从这些原始图像中每轮迭代动态生成合成图像对。 然而，这种数据集的生成需要一定时间，且由于每轮迭代不会进行数据增强，因此也可以预先生成数据集并将其保存到磁盘上。 在训练时，只需从磁盘加载构成训练数据集的图像对，然后再送入网络处理，这样会快得多。 要生成训练数据集并将其保存到磁盘：

python assets/save_training_dataset_to_disk.py --image_data_path /directory/to/original/training_datasets/ 
--csv_path assets/homo_aff_tps_train_DPED_CityScape_ADE.csv --save_dir /path/to/save_dir --plot True

这将会在 save_dir/images 和 save_dir/flow 分别生成图像对及其对应的光流场。

3. 在 admin/local.py 中添加路径，分别命名为 'training_cad_520' 和 'validation_cad_520'

这对于添加运动物体非常有用。 请从 这里 下载图像及其标注文件。根文件夹应按以下方式组织：

coco_root
    └── annotations
        └── instances_train2014.json
    └──images
        └── train2014

然后在 admin/local.py 中将路径添加为 'coco'。

我们使用 D2-Net 仓库 提供的重建结果。 您可以直接从 这里 - Google Drive 下载去畸变后的重建结果及聚合的场景信息文件夹。

文件结构应如下所示：

MegaDepth
├── Undistorted_Sfm
└── scene_info

然后在 admin/local.py 中将路径添加为 'megadepth_training'。

这是基于我们最近的工作 Refign，其代码可在 GitHub 上找到。 它允许无监督地训练概率对应网络（结合了 PDCNet 和 WarpC）。 该网络使用简化的 PDCNet 版本，去除了 GOCor 模块，并且在每个像素点预测单模态高斯概率分布，而非拉普拉斯混合模型。

• UAWarpC.train_UAWarpC_PDCNet_stage1: 默认设置用于第一阶段网络训练，不使用可见性掩码。 我们在 MegaDepth 数据集的真实图像对上进行训练。

• UAWarpC.train_UAWarpC_PDCNet_stage2: 我们进一步微调第一阶段训练得到的网络，加入了我们的可见性掩码。

• PWarpC.train_weakly_supervised_PWarpC_SFNet_pfpascal: 默认设置用于在 PF-Pascal 数据集上训练弱监督的 PWarpC-SF-Net。

• PWarpC.train_weakly_supervised_PWarpC_SFNet_spair_from_pfpascal: 默认设置用于在 SPair 数据集上训练弱监督的 PWarpC-SF-Net。 具体来说，先在 PF-Pascal 数据集上训练（如上所述），然后再在 SPair-71K 数据集上进行微调。

• PWarpC.train_strongly_supervised_PWarpC_SFNet_pfpascal: 默认设置用于在 PF-Pascal 数据集上训练强监督的 PWarpC-SF-Net。

• PWarpC.train_strongly_supervised_PWarpC_SFNet_spair_from_pfpascal: 默认设置用于在 SPair-71K 数据集上训练强监督的 PWarpC-SF-Net。

• 其余部分待续

• WarpC.train_WarpC_GLUNet_stage1: 默认设置用于第一阶段网络训练，不使用可见性掩码。 我们在 MegaDepth 数据集的真实图像对上进行训练。

• WarpC.train_WarpC_GLUNet_stage2: 我们进一步微调第一阶段训练得到的网络，加入了我们的可见性掩码。 该网络即为最终的 WarpC-GLU-Net（参见 WarpC 论文）。

• WarpC.train_ft_WarpCSemanticGLUNet: 默认设置用于训练最终的 WarpC-语义GLU-Net（参见 WarpC 论文）。 我们将原本在静态/CAD 合成数据上训练的语义GLU-Net，利用形变一致性技术在 PF-Pascal 数据集上进行了微调。

• PDCNet.train_PDCNet_plus_stage1: 用于第一阶段网络训练的默认设置，其中骨干网络权重固定。 我们首先在DPED、CityScape和ADE数据集上使用预先计算并保存的合成图像对进行训练， 并在这些图像对上添加多个独立移动的对象及扰动。此外，我们还应用了对象重投影掩码。

• PDCNet.train_PDCNet_plus_stage2: 用于训练最终PDC-Net+模型的默认设置（参见PDC-Net+论文）。 该设置会对使用PDCNet_stage1训练得到的模型中的所有层进行微调，包括特征骨干网络。训练数据集由第一阶段使用的相同数据集，以及来自MegaDepth数据集的图像对及其稀疏的地面真值对应关系数据组成。同时，我们也应用了重投影掩码。

• PDCNet.train_PDCNet_stage1: 用于第一阶段网络训练的默认设置，其中骨干网络权重固定。 我们使用预训练的ImageNet权重初始化骨干网络VGG-16。首先在DPED、CityScape和ADE数据集上使用预先计算并保存的合成图像对进行训练， 并在这些图像对上添加独立移动的对象及扰动。

• PDCNet.train_PDCNet_stage2: 用于训练最终PDC-Net模型的默认设置（参见PDC-Net论文）。 该设置会对使用PDCNet_stage1训练得到的模型中的所有层进行微调，包括特征骨干网络。训练数据集由第一阶段使用的相同数据集，以及来自MegaDepth数据集的图像对及其稀疏的地面真值对应关系数据组成。

• PDCNet.train_GLUNet_GOCor_star_stage1: 设置与PDCNet_stage1相同，但使用不同的模型（非概率基线）。损失函数相应地改为L1损失，而非负对数似然损失。

• PDCNet.train_GLUNet_GOCor_star_stage2: 用于训练最终GLU-Net-GOCor*的默认设置（参见PDCNet论文）。

训练您自己的网络

要使用该工具包训练自定义网络，需要在训练设置中指定以下组件。 参考示例：train_GLUNet_static.py。

• 数据集：用于训练的数据集。datasets模块中已提供若干标准匹配数据集。数据集类可以传入一个处理函数，该函数应在将数据分批之前执行必要的处理操作，例如数据增强和转换为张量。
• 数据加载器：决定如何采样批次。可使用特定的采样器。
• 网络：待训练的网络模块。
• 批次预处理模块：负责接收批次并将其转换为网络训练所需的输入。具体实现取决于不同的网络和训练策略。
• 目标函数：训练目标。
• 演员：训练师将训练批次传递给演员，由演员负责正确地将数据通过网络，并计算训练损失。批次预处理也在演员类中完成。
• 优化器：所使用的优化器，例如Adam。
• 调度器：所使用的调度器。
• 训练师：运行训练轮次并保存检查点的主要类。

6. 致谢

我们借鉴了多个公开项目的代码，例如pytracking、GLU-Net、 DGC-Net、PWC-Net、 NC-Net、Flow-Net-Pytorch、 RAFT、CATs...

7. 变更日志

• 2021年6月21日：添加了评估代码
• 2021年7月21日：添加了训练代码及更多评估选项
• 2021年8月21日：修复了混合数据集中的内存泄漏问题，并为Megadepth数据集增加了其他采样方式
• 2021年10月21日：添加了WarpC的预训练模型
• 2021年12月21日：添加了WarpC和PDC-Net+的训练代码，以及随机生成的数据、Caltech数据集的评估代码、PDC-Net+的预训练模型和笔记本演示
• 2022年2月22日：进行了小幅修改
• 2022年3月22日：进行了大规模重构，新增了视频演示、PWarpC的代码，并将反卷积层的默认初始化设置为双线性插值权重。