SuperGlue PyTorch 实现

本 SuperGlue 实现旨在应用于 Physarum Dynamics LP 求解器。Physarum Dynamics 是一种非常快速且高效的线性规划求解器，有望替代 SuperGlue 中原有的 Sinkhorn 算法。

• Physarum Dynamics 完整论文 PDF：Physarum Powered Differentiable Linear Programming Layers and Applications。
• SuperGlue with Physarum Dynamics 实现

引言

SuperGlue 网络是一种结合了最优匹配层的图神经网络，经过训练可用于对两组稀疏图像特征进行匹配。SuperGlue 作为一个“中间端”，在单一的端到端架构中完成上下文聚合、匹配和过滤。

图像之间的对应关系存在一些约束：

• 一个关键点在另一幅图像中最多只能有一个对应点。
• 由于遮挡或检测器失效，部分关键点可能无法找到匹配。

SuperGlue 的目标是找到同一场景中同一点在不同视图间的全部对应关系，并识别出没有匹配的关键点。SuperGlue 架构主要由两个部分组成：注意力机制图神经网络和最优匹配层。

本仓库包含基于 SIFT 关键点和描述子，在 PyTorch 上训练 SuperGlue 匹配网络的代码。更多详情请参阅：

• 完整论文 PDF：SuperGlue: Learning Feature Matching with Graph Neural Networks。

依赖项

• Python 3
• PyTorch >= 1.1
• OpenCV >= 3.4（推荐使用 4.1.2.30 以获得最佳 GUI 键盘交互体验，请参阅此说明）
• Matplotlib >= 3.1
• NumPy >= 1.18

只需运行以下命令：pip3 install numpy opencv-python torch matplotlib

或者通过 conda install --name myenv --file superglue.txt 创建 Conda 环境。

内容

本仓库包含两个主要的顶层脚本：

1. train.py：用于训练 SuperGlue 模型。
2. load_data.py：从文件中读取图像并生成图像对。它会生成关键点、描述子以及用于训练的真实匹配标签。

下载数据

下载用于训练的 COCO2014 数据集文件：

wget http://images.cocodataset.org/zips/train2014.zip

下载验证集：

wget http://images.cocodataset.org/zips/val2014.zip

下载测试集：

wget http://images.cocodataset.org/zips/test2014.zip

训练指南

要使用默认参数训练 SuperGlue，请运行以下命令：

python train.py

其他有用的命令行参数

• 使用 --epoch 设置训练轮数（默认为 20）。
• 使用 --train_path 设置训练图像所在目录的路径。
• 使用 --eval_output_dir 设置可视化结果保存的目录路径（默认为 dump_match_pairs/）。
• 使用 --show_keypoints 可视化检测到的关键点（默认为 False）。
• 使用 --viz_extension 设置可视化文件的扩展名（默认为 png）。若需最高质量的输出，可选择 pdf。

可视化演示

匹配结果根据预测置信度以喷射色图显示（红色表示置信度高，蓝色表示置信度低）。

您应该能在 dump_match_pairs/ 目录下看到类似如下的图像：

SuperGlue-pytorch 快速上手指南

SuperGlue 是一个结合图神经网络（GNN）与最优匹配层的深度学习模型，用于在两幅图像的稀疏特征点之间进行高精度匹配。本仓库提供了基于 PyTorch 的实现，支持在 SIFT 特征上进行训练和推理。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python: 3.x
• PyTorch: >= 1.1
• OpenCV: >= 3.4 (推荐 4.1.2.30 以获得更好的 GUI 键盘交互体验)
• 其他依赖: Matplotlib >= 3.1, NumPy >= 1.18

注意：本项目主要面向科研与应用开发，建议配备 NVIDIA GPU 以加速训练过程。

安装步骤

您可以选择使用 pip 直接安装或通过 conda 创建隔离环境。

方式一：使用 pip 安装（推荐）

运行以下命令一键安装核心依赖：

pip3 install numpy opencv-python torch matplotlib

国内用户加速建议：若下载速度较慢，可使用清华或阿里镜像源：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy opencv-python torch matplotlib

方式二：使用 Conda 环境

如果您偏好使用 Conda 管理环境，可以使用仓库提供的配置文件：

conda install --name myenv --file superglue.txt

基本使用

本仓库包含两个核心脚本：load_data.py（数据预处理）和 train.py（模型训练）。以下是基于默认配置的最简使用流程。

1. 准备数据集

本项目使用 COCO2014 数据集进行训练。请下载以下三个压缩包并解压到同一目录：

# 下载训练集
wget http://images.cocodataset.org/zips/train2014.zip

# 下载验证集
wget http://images.cocodataset.org/zips/val2014.zip

# 下载测试集
wget http://images.cocodataset.org/zips/test2014.zip

国内用户加速建议：如果官方链接下载缓慢，建议从国内镜像站（如 OpenDataLab 或阿里云镜像）下载 COCO2014 数据集。

2. 开始训练

使用默认参数启动训练流程。脚本会自动读取图像、生成关键点、描述子及真值匹配对：

python train.py

3. 自定义训练参数（可选）

您可以根据需求调整训练配置：

python train.py \
  --epoch 20 \
  --train_path /path/to/your/images \
  --eval_output_dir dump_match_pairs/ \
  --show_keypoints True \
  --viz_extension pdf

• --epoch: 设置训练轮数（默认 20）。
• --train_path: 指定训练图片目录。
• --eval_output_dir: 可视化结果输出目录（默认 dump_match_pairs/）。
• --show_keypoints: 是否可视化检测到的关键点。
• --viz_extension: 可视化文件格式，推荐使用 pdf 以获得最高画质。

4. 查看结果

训练过程中生成的匹配可视化文件将保存在 dump_match_pairs/ 目录下。匹配线颜色代表置信度：红色表示高置信度，蓝色表示低置信度。