MatchAnything：基于大规模预训练的通用跨模态图像匹配

项目页面 | 论文

MatchAnything：基于大规模预训练的通用跨模态图像匹配
何星毅、 于浩、 彭思达、 谭东立、 沈哲宏、 鲍虎军^†、 周小伟 ^†
ArXiv 2025

快速入门

MatchAnything 的 Hugging Face 演示

模型 已发布至 Hugging Face！（包含预训练权重）训练代码稍后将公开。

引用

@inproceedings{he2025matchanything,
title={MatchAnything: Universal Cross-Modality Image Matching with Large-Scale Pre-Training},
author={He, Xingyi and Yu, Hao and Peng, Sida and Tan, Dongli and Shen, Zehong and Bao, Hujun and Zhou, Xiaowei},
booktitle={Arxiv},
year={2025}
}

MatchAnything 快速上手指南

MatchAnything 是一个基于大规模预训练的通用跨模态图像匹配工具，支持不同传感器（如可见光、红外、SAR 等）或不同视角下的图像特征匹配。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04) 或 macOS。
• Python: 3.8 或更高版本。
• GPU: 推荐使用 NVIDIA GPU 以加速推理（需安装对应的 CUDA 驱动）。
• 前置依赖:
  • PyTorch (建议 1.9+)
  • torchvision
  • OpenCV-python
  • NumPy

国内加速建议：建议使用清华源或阿里源安装 Python 依赖，以提升下载速度。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

目前官方训练代码尚未完全开源，但已提供预训练模型权重。您可以通过克隆仓库或直接使用 Hugging Face Spaces 提供的资源进行部署。

1. 克隆项目代码

git clone https://github.com/zju3dv/MatchAnything.git
cd MatchAnything

2. 安装依赖

创建虚拟环境并安装所需库（建议使用国内镜像源）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注：若 requirements.txt 未包含所有必要组件，请手动安装核心依赖：

pip install torch torchvision opencv-python numpy -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 获取预训练模型

预训练权重已托管在 Hugging Face。您可以从以下地址下载模型文件并放置于项目指定目录（通常为 weights/ 或代码中指定的路径）：

• 模型地址: HuggingFace Models

基本使用

以下是加载预训练模型并进行两张图像匹配的极简示例。假设您已将模型权重下载到 ./weights/matchanything.pth。

import torch
import cv2
from matchanything.model import MatchAnythingModel # 假设的导入路径，具体以实际代码结构为准

# 1. 初始化模型
device = "cuda" if torch.cuda.is_available() else "cpu"
model = MatchAnythingModel(pretrained_path="./weights/matchanything.pth")
model.to(device).eval()

# 2. 读取图像 (支持跨模态，例如一张可见光，一张红外)
img1 = cv2.imread('image_visible.jpg', cv2.IMREAD_GRAYSCALE)
img2 = cv2.imread('image_infrared.jpg', cv2.IMREAD_GRAYSCALE)

# 3. 执行匹配
# 输入通常需要预处理为 Tensor，具体形状参考模型文档 (B, C, H, W)
with torch.no_grad():
    matches = model.match(img1, img2)

# 4. 输出结果
# matches 通常包含关键点坐标及描述子，可用于计算单应性矩阵或可视化
print(f"Detected {len(matches)} matches.")

提示：如果您不想本地部署，可以直接访问官方提供的在线演示体验功能： HuggingFace Demo