🚀 概述

📖 描述

得益于大规模预训练，视觉基础模型在开放世界图像理解方面展现出巨大潜力。然而，与能够直接应对各种语言任务的大型语言模型不同，视觉基础模型需要特定的任务结构，并在其上进行微调。在本工作中，我们提出了Matcher，一种新颖的感知范式，它利用现成的视觉基础模型来解决各类感知任务。Matcher无需训练即可通过一个上下文示例实现任何物体的分割。此外，我们在Matcher框架中设计了三个有效组件，与这些基础模型协同工作，从而充分发挥它们在多样化感知任务中的潜力。Matcher在多种分割任务中均表现出色的泛化能力，且完全无需训练。我们的可视化结果进一步展示了Matcher在实际场景图像中的开放世界通用性和灵活性。

论文

ℹ️ 最新消息

• 2024.1 Matcher已被ICLR 2024接收！
• 2024.1 Matcher支持Semantic-SAM，以更好地进行部件分割。
• 2024.1 我们提供了Gradio演示。
• 2024.1 发布了一次性语义分割和一次性部件分割任务的代码。

📖 推荐作品

• SINE：基于上下文示例的简单图像分割框架。GitHub。
• DiffewS：释放扩散模型在少样本语义分割中的潜力。GitHub。

🗓️ 待办事项

• Gradio演示
• 发布一次性语义分割和一次性部件分割任务的代码
• 发布用于视频对象分割的代码和模型（详见vos-dev分支）

🏗️ 安装

请参阅安装说明。

👻 入门指南

请参阅为Matcher准备数据集。

请参阅Matcher入门指南。

🖼️ 演示

一次性语义分割

一次性物体部件分割

跨风格物体及部件分割

可控掩码输出

视频对象分割

https://github.com/aim-uofa/Matcher/assets/119775808/9ff9502d-7d2a-43bc-a8ef-01235097d62b

🎫 许可证

对于学术用途，本项目采用两条款BSD许可证授权。
如需商业用途，请联系沈春华。

🖊️ 引用

如果您在研究中使用了本项目，请考虑引用以下内容：

@article{liu2023matcher,
  title={Matcher: Segment Anything with One Shot Using All-Purpose Feature Matching},
  author={Liu, Yang and Zhu, Muzhi and Li, Hengtao and Chen, Hao and Wang, Xinlong and Shen, Chunhua},
  journal={arXiv preprint arXiv:2305.13310},
  year={2023}
}

致谢

SAM, DINOv2, SegGPT, HSNet, Semantic-SAM以及detectron2。

Matcher 快速上手指南

Matcher 是一个基于通用特征匹配的视觉感知框架，能够利用现成的视觉基础模型（如 SAM、DINOv2），通过单样本（One-Shot）示例实现无需训练的图像分割。它支持语义分割、部件分割及视频对象分割等任务。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 ≥ 8GB）
• 前置依赖:
  • PyTorch (建议 1.10+)
  • torchvision
  • detectron2

💡 国内加速建议 安装 PyTorch 时，推荐使用清华或中科大镜像源以提升下载速度：

pip install torch torchvision --index-url https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

请按照以下步骤克隆代码并安装依赖。

2.1 克隆仓库

git clone https://github.com/aim-uofa/Matcher.git
cd Matcher

2.2 创建虚拟环境并安装依赖

建议使用 conda 创建独立环境：

conda create -n matcher python=3.8 -y
conda activate matcher

# 安装 PyTorch (根据实际 CUDA 版本选择，此处以 cu118 为例)
pip install torch torchvision --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 detectron2 (国内镜像加速)
pip install detectron2 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu118/torch1.13/index.html

# 安装 Matcher 其他依赖
pip install -r requirements.txt

2.3 下载预训练模型

Matcher 依赖预训练的视觉基础模型。请参考官方 INSTALL.md 文档下载权重文件（如 SAM ViT-H, DINOv2 等），并将其放置在项目指定的 weights/ 目录下。

3. 基本使用

Matcher 的核心优势在于无需训练，仅需提供一张参考图（含标注）即可对查询图进行分割。

3.1 数据准备

在使用前，需按照 datasets/README.md 的说明整理数据集格式。对于简单的测试，您可以准备两张图片：

1. Support Image: 包含目标的参考图及其对应的 Mask。
2. Query Image: 需要分割的目标图。

3.2 运行单样本语义分割示例

以下命令演示如何运行一次单样本语义分割推理（具体脚本路径请以 GETTING_STARTED.md 为准）：

python demo/demo_one_shot.py \
    --config-file configs/matcher_r50.yaml \
    --support-image path/to/support.jpg \
    --support-mask path/to/support_mask.png \
    --query-image path/to/query.jpg \
    --output-dir output/results \
    --opts MODEL.WEIGHTS weights/matcher.pth

3.3 启动 Gradio 演示界面

项目提供了交互式的 Gradio Demo，方便直观体验“点击即分割”的效果：

python demo/gradio_app.py

运行后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器中打开即可上传参考图和查询图进行实时测试。

3.4 视频对象分割 (VOS)

如需处理视频序列，可切换至 vos-dev 分支并使用相应的评估脚本：

git checkout vos-dev
python matcher_vos/inference_video.py --video_path path/to/video.mp4 --reference_frame 0

---

更多高级用法（如部件分割、跨风格分割）请参阅项目根目录下的 GETTING_STARTED.md。