要评估HPatches上的预训练SuperPoint+LightGlue模型，请运行：

python -m gluefactory.eval.hpatches --conf superpoint+lightglue-official --overwrite

您应该会得到如下结果：

{'H_error_dlt@1px': 0.3515,
 'H_error_dlt@3px': 0.6723,
 'H_error_dlt@5px': 0.7756,
 'H_error_ransac@1px': 0.3428,
 'H_error_ransac@3px': 0.5763,
 'H_error_ransac@5px': 0.6943,
 'mnum_keypoints': 1024.0,
 'mnum_matches': 560.756,
 'mprec@1px': 0.337,
 'mprec@3px': 0.89,
 'mransac_inl': 130.081,
 'mransac_inl%': 0.217,
 'ransac_mAA': 0.5378}

默认的鲁棒估计器是opencv，但我们强烈建议改用poselib：

python -m gluefactory.eval.hpatches --conf superpoint+lightglue-official --overwrite \
    eval.estimator=poselib eval.ransac_th=-1

设置eval.ransac_th=-1会通过在一系列阈值下运行评估来自动调整RANSAC内点阈值，并报告最优值的结果。以下是按1/3/5像素的单应误差曲线下的面积（AUC）：

要评估GlueStick在HPatches上的表现，请运行：

python -m gluefactory.eval.hpatches --conf gluefactory/configs/superpoint+lsd+gluestick.yaml --overwrite

您应该会得到如下结果：

{"mprec@1px": 0.245,
 "mprec@3px": 0.838,
 "mnum_matches": 1290.5,
 "mnum_keypoints": 2287.5,
 "mH_error_dlt": null,
 "H_error_dlt@1px": 0.3355,
 "H_error_dlt@3px": 0.6637,
 "H_error_dlt@5px": 0.7713,
 "H_error_ransac@1px": 0.3915,
 "H_error_ransac@3px": 0.6972,
 "H_error_ransac@5px": 0.7955,
 "H_error_ransac_mAA": 0.62806,
 "mH_error_ransac": null}

由于我们使用点和线来求解单应矩阵，这里采用了不同的鲁棒估计器：Hest。以下是按1/3/5像素的单应误差曲线下的面积（AUC）：

要评估MegaDepth-1500上的预训练SuperPoint+LightGlue模型，请运行：

python -m gluefactory.eval.megadepth1500 --conf superpoint+lightglue-official

# 或者自适应变体
python -m gluefactory.eval.megadepth1500 --conf superpoint+lightglue-official \
    model.matcher.{depth_confidence=0.95,width_confidence=0.95}

第一条命令应该会打印出以下结果：

{'mepi_prec@1e-3': 0.795,
 'mepi_prec@1e-4': 0.15,
 'mepi_prec@5e-4': 0.567,
 'mnum_keypoints': 2048.0,
 'mnum_matches': 613.287,
 'mransac_inl': 280.518,
 'mransac_inl%': 0.442,
 'rel_pose_error@10°': 0.681,
 'rel_pose_error@20°': 0.8065,
 'rel_pose_error@5°': 0.5102,
 'ransac_mAA': 0.6659}

要使用 PoseLib 估计器：

python -m gluefactory.eval.megadepth1500 --conf superpoint+lightglue-official \
    eval.estimator=poselib eval.ransac_th=2.0

要在 MegaDepth-1500 上评估预训练的 SuperPoint+GlueStick 模型，运行：

python -m gluefactory.eval.megadepth1500 --conf gluefactory/configs/superpoint+lsd+gluestick.yaml

以下是姿态误差在 5/10/20 度下的曲线下面积（AUC）结果：

要在 Scannet-1500 上评估预训练的 SuperPoint+LightGlue 模型，运行：

python -m gluefactory.eval.scannet1500 --conf superpoint+lightglue-official
# 或者自适应变体
python -m gluefactory.eval.scannet1500 --conf superpoint+lightglue-official \
    model.matcher.{depth_confidence=0.95,width_confidence=0.95}

以下是姿态误差在 5/10/20 度下的曲线下面积（AUC）结果：

要在 ETH3D 上评估 GlueStick，运行：

python -m gluefactory.eval.eth3d --conf gluefactory/configs/superpoint+lsd+gluestick.yaml

你应该会得到以下结果：

AP: 77.92
AP_lines: 69.22

python -m gluefactory.eval.inspect hpatches superpoint+lightglue-official

点击某个点即可查看该图像对上的匹配情况。

要在同一数据集上比较多种方法：

python -m gluefactory.eval.inspect hpatches superpoint+lightglue-official superpoint+superglue-official

当前所有的基准测试都支持该查看器。

我们展示如何使用 SuperPoint 来训练 LightGlue。 首先我们在单应矩阵数据集上预训练 LightGlue：

python -m gluefactory.train sp+lg_homography \  # 实验名称
    --conf gluefactory/configs/superpoint+lightglue_homography.yaml

你可以自由选择其他实验名称。默认情况下，检查点会被保存到 outputs/training/ 目录下。默认的 128 批次大小对应于论文中报告的结果，需要两块各有 24GB 显存的 3090 显卡，以及 PyTorch >= 2.0（FlashAttention）。 配置由 OmegaConf 管理，因此任何参数都可以通过命令行覆盖。 如果你使用的是 PyTorch < 2.0 或显卡性能较弱，你可能需要通过以下方式降低批次大小：

python -m gluefactory.train sp+lg_homography \
    --conf gluefactory/configs/superpoint+lightglue_homography.yaml  \
    data.batch_size=32  # 对于一块 1080 显卡

请注意，这可能会影响整体性能。你可能还需要相应地调整学习率。

然后我们在 MegaDepth 数据集上对模型进行微调：

python -m gluefactory.train sp+lg_megadepth \
    --conf gluefactory/configs/superpoint+lightglue_megadepth.yaml \
    train.load_experiment=sp+lg_homography

在这里，默认批次大小为 32。为了加快 MegaDepth 上的训练速度，我们建议在训练前缓存局部特征（大约需要 150 GB 的磁盘空间）：

# 提取特征
python -m gluefactory.scripts.export_megadepth --method sp --num_workers 8

# 使用缓存的特征运行训练
python -m gluefactory.train sp+lg_megadepth \
    --conf gluefactory/configs/superpoint+lightglue_megadepth.yaml \
    train.load_experiment=sp+lg_homography \
    data.load_features.do=True

随后可以使用实验名称对该模型进行评估：

python -m gluefactory.eval.megadepth1500 --checkpoint sp+lg_megadepth

你还可以通过添加 --run_benchmarks 选项，在每个训练周期后运行所有基准测试。

我们首先在单应性数据集上对 GlueStick 进行预训练：

python -m gluefactory.train gluestick_H --conf gluefactory/configs/superpoint+lsd+gluestick-homography.yaml --distributed

你可以自由选择其他实验名称。配置由 OmegaConf 管理，因此任何配置项都可以通过命令行覆盖。

接着，我们在 MegaDepth 数据集上对该模型进行微调：

python -m gluefactory.train gluestick_MD --conf gluefactory/configs/superpoint+lsd+gluestick-megadepth.yaml --distributed

需要注意的是，我们之前使用 train_scenes.txt 和 valid_scenes.txt 这两个训练划分来训练原始模型，而这些划分与 IMC 挑战赛存在一定的重叠。现在默认的新划分是 train_scenes_clean.txt 和 valid_scenes_clean.txt，其中不再包含这种重叠。