GlueStick

点和线的联合深度学习匹配器 (deep matcher) 🖼️💥🖼️

更新：我们很高兴地宣布，训练代码已在我们新的训练框架 GlueFactory 中发布。

本仓库包含 GlueStick: Robust Image Matching by Sticking Points and Lines Together 的官方实现，该论文已被 ICCV 2023 接收。

安装 🛠️

在 Ubuntu 22.04 上安装软件请遵循以下说明：

sudo apt-get install build-essential cmake libopencv-dev libopencv-contrib-dev
git clone --recursive https://github.com/cvg/GlueStick.git
cd GlueStick
# Create and activate a virtual environment
python -m venv venv
source venv/bin/activate
pip install -r requirements.txt
pip install .

运行 GlueStick 🏃

下载模型权重 (weights)：

wget https://github.com/cvg/GlueStick/releases/download/v0.1_arxiv/checkpoint_GlueStick_MD.tar -P resources/weights

你可以使用它执行推理 (inference)：

python -m gluestick.run -img1 resources/img1.jpg -img2 resources/img2.jpg

训练 🏋️

训练代码可在独立仓库 GlueFactory 中找到。在 GlueFactory 中，你不仅可以训练 GlueStick，还可以训练其他深度学习匹配器 (deep matcher)，例如 LightGlue，使用多种特征提取器 (feature extractors)、线提取器 (line extractors)、鲁棒估计器 (robust estimators)，并在多个基准 (benchmarks) 上进行评估。

许可 📜

我们的代码采用 MIT 许可 授权。但是，请注意它使用了具有 非商业许可 的 SuperPoint 骨干网络 (backbone)。因此，整个系统是非商业用途的 😞。我们正在基于 DISK 开发一个类似的版本以避免这个问题。

引用 📝

如果你在项目中使用了此代码，请考虑引用以下论文：

@InProceedings{pautrat_suarez_2023_gluestick,
    title={{GlueStick}: Robust Image Matching by Sticking Points and Lines Together},
    author={Pautrat, R{\'e}mi* and Su{\'a}rez, Iago* and Yu, Yifan and Pollefeys, Marc and Larsson, Viktor},
    booktitle={International Conference on Computer Vision (ICCV)},
    year={2023}
}

GlueStick 快速上手指南

GlueStick 是一种联合点线匹配器，用于实现鲁棒的图像匹配（ICCV 2023）。

⚠️ 重要提示：本代码基于 MIT 许可，但使用了 SuperPoint 骨干网络（非商业许可），因此整体系统目前仅限非商业用途。

环境准备

推荐使用 Ubuntu 22.04 系统。安装前请确保已安装以下系统级依赖：

sudo apt-get install build-essential cmake libopencv-dev libopencv-contrib-dev

安装步骤

1. 克隆仓库

   git clone --recursive https://github.com/cvg/GlueStick.git
   cd GlueStick
   

2. 配置 Python 环境

   python -m venv venv
   source venv/bin/activate
   

3. 安装依赖与项目

   pip install -r requirements.txt
   pip install .
   

基本使用

1. 下载模型权重

运行以下命令将预训练权重下载到资源目录：

wget https://github.com/cvg/GlueStick/releases/download/v0.1_arxiv/checkpoint_GlueStick_MD.tar -P resources/weights

2. 执行推理

使用两张图片进行匹配测试（请确保 resources/ 目录下存在对应的图片文件）：

python -m gluestick.run -img1 resources/img1.jpg -img2 resources/img2.jpg

补充说明

• 训练代码：训练部分代码已迁移至独立仓库 GlueFactory，该框架支持训练 GlueStick 及其他深度匹配器。
• 引用：在项目中使用时，请参考 README 中的 BibTeX 引用信息。