令人惊叹的 Segment Anything

Segment Anything 在计算机视觉（CV）领域取得了新的突破，本仓库将持续跟踪并总结 Segment Anything 在各个领域的研究进展，包括论文、项目等。

如果您觉得这个仓库有帮助，请考虑给它点个 Star ⭐ 或分享出去 ⬆️。谢谢！

新闻

- 2024.8.16 增加 Segment Anything2 和 SaLIP。
- 2023.8.29：更新了一些最新工作。
- 2023.5.20：更新文档结构，并添加了一篇与机器人相关的文章。祝大家520快乐！
- 2023.5.4：增加 SEEM。
- 2023.4.18：增加 Inpainting Anything 和 SAM-Track 工作。
- 2023.4.12：发布了近期论文或项目的初版。

目录

• 基础模型论文
• 衍生论文
  • SAM 的分析与扩展
  • 医学图像分割
  • 修复填充
  • 伪装目标检测
  • 视频帧插值
  • 低层视觉
  • 图像抠图
  • 机器人
  • 生物信息学
  • 3D
  • 遥感
  • 跟踪
  • 视听定位与分割
  • 对抗攻击
• 衍生项目
  • 图像分割任务
  • 视频分割任务
  • 医学图像分割任务
  • 修复填充任务
  • 3D 任务
  • 图像生成任务
  • 遥感任务
  • 移动物体检测任务
  • OCR 任务
• 前端框架
  • 适用于 SAM 的 JS SDK

论文/项目

基础模型论文

标题	演示图	论文链接	项目页面	代码库	所属机构	描述
CLIP		arXiv	Colab	代码	OpenAI	对比语言-图像预训练。
OWL-ViT		ECCV2022	-	代码	Google	一种开放词汇的目标检测器。
OvSeg		CVPR2023	项目	代码	META	根据文本描述将图像分割为语义区域。
Painter		CVPR2023	-	代码	BAAI	一种用于上下文视觉学习的通用画家。
Grounding DINO		arXiv	Colab & Huggingface	代码	IDEA	一个更强大的开放集目标检测器
Segment Anything		arXiv	项目页面	代码	Meta	一个功能更强大的大型模型，可用于为图像中的所有对象生成掩码。
SegGPT		arXiv	项目页面	代码	BAAI	基于 Painter，在上下文中对一切进行分割。
Segment Everything Everywhere All at Once (SEEM)		arXiv	项目页面	代码	Microsoft	基于多种提示类型的语义分割。
Segment Everything2		论文	项目页面	代码	Meta	一个用于解决图像和视频中可提示视觉分割的基础模型..

Derivative Papers

SAM 的分析与扩展

标题	演示图	论文页	项目页	代码库	所属机构	描述
CLIP_Surgery		arXiv	Demo	Code	香港科技大学	该工作基于 CLIP 的可解释性，实现无需手动标注点的文本到掩码转换。
GenSAM		arXiv	Project Page	Code	伦敦玛丽女王大学	该工作放宽了对 SAM 中特定实例提示的要求。
Segment Anything Is Not Always Perfect		arXiv	-	-	三星	本文分析并讨论了 SAM 的优势与局限性。
PerSAM		arXiv	Project Page	Code	-	针对特定概念进行分割。
Matcher: 使用通用特征匹配实现单次拍摄的万物分割		arXiv	-	Code	-	通过整合通用特征提取模型和类无关分割模型，实现单次拍摄的语义分割。
高质量万物分割		arXiv	Project Page	-	苏黎世联邦理工学院 & 香港科技大学	HQ-SAM：利用可学习的高质量输出令牌提升 SAM 的分割质量。
Detect Any Shadow：用于视频阴影检测的万物分割		arXiv	-	Code	中国科学技术大学	使用 SAM 检测初始帧，随后利用 LSTM 网络处理后续帧。
快速万物分割		arXiv	Project Page	Code	-	重新设计架构并提升 SAM 的速度。
MobileSAM（更快速的万物分割）		arXiv	Project Page	Code	庆熙大学	通过用轻量级图像编码器替换重量级编码器，使 SAM 更适合移动端应用。
FoodSAM（任意食物分割）		arxiv	Project Page	Code	中国科学院大学	对食物图像进行语义、实例、全景及交互式分割。
DefectSAM		arxiv	-	Code	浙江大学、西湖大学、电子科技大学等	针对红外热成像进行缺陷检测。
SlimSAM		arxiv	-	Code	国立新加坡大学	仅需 0.1% 数据即可实现精简版万物分割。

医学图像分割

标题	演示	论文页	项目页	代码库	所属机构	描述
数字病理中的 Segment Anything Model (SAM)		arXiv	-	-	-	SAM + 肿瘤分割/组织分割/细胞核分割。
医学图像中的 Segment Anything		arXiv	-	代码	-	带有小型数据集的分步教程，帮助您快速使用 SAM。
SAM 是否无法分割任何内容？		arXiv	-	代码	-	SAM适配器：在表现不佳的场景中适配 SAM：伪装、阴影、医学图像分割等。
用于医学图像分析的 Segment Anything Model：一项实验研究		arXiv	-	-	-	对 SAM 在 19 个医学图像数据集上的表现进行的全面实验。
Medical-SAM-Adapter		arXiv	-	代码	-	一个使用适配技术对医学影像进行微调的项目。
SAM-Med2d		arXiv	-	代码	四川大学 & 上海人工智能实验室	关于将 SAM 应用于医学 2D 图像的最全面研究
ScribblePrompt-SAM		arXiv	项目页	代码	MIT & MGH	使用涂鸦、点击和边界框输入，在 65 个生物医学成像数据集上微调 SAM
SaLIP	-	arXiv	项目页	代码	-	使用 SaLIP 的测试时适应：SAM 和 CLIP 的级联，用于零样本医学图像分割。

生物图像分析

标题	演示	论文页	项目页	代码库	所属机构	描述
显微镜下的 Segment Anything		bioRxiv	演示	代码	德国哥廷根大学	显微镜下的 Segment Anything 实现了显微镜数据的自动和交互式标注。它基于 Segment Anything 构建，并专门针对显微镜和其他生物成像数据进行了优化。其核心组件包括： micro_sam 工具，用于通过 napari 进行交互式数据标注。 micro_sam 库，可将 Segment Anything 应用于 2D 和 3D 数据，或根据您的数据进行微调。 micro_sam 模型，这些模型已在公开可用的显微镜数据上进行了微调。 我们的目标是为显微镜数据构建快速且交互式的标注工具

图像修复

标题	演示	论文页	项目页	代码库	所属机构	描述
修复任何内容		arXiv	-	代码	中国科学技术大学 & EIT	SAM + 图像修复，能够平滑地移除物体。
SAM + Stable Diffusion 用于文本到图像的图像修复		-	项目	代码	comet	Grounding DINO + SAM + Stable Diffusion

伪装目标检测

标题	演示	论文页	项目页	代码库	所属机构	描述
SAMCOD	-	arXiv	-	代码	-	SAM + 伪装目标检测 (COD) 任务。

视频帧插值

标题	演示	论文页	项目页	代码库	所属机构	描述
更清晰的帧，随时可用：解决视频帧插值中的速度模糊问题		arXiv	项目页 & 交互式演示	代码	上海人工智能实验室 & Snap Inc.	使用 SAM 的可编辑视频帧插值。

低层视觉

标题	演示	论文页	项目页	代码库	所属机构	描述
视频超分辨率中的 Segment Anything		arXiv	-	-	-	将 SAM 用于低层视觉的第一步。
SAM-IQA		arXiv	-	代码	Megvii	首次将 SAM 引入 IQA 领域，并展示了其在该领域的强大泛化能力。

图像抠图

标题	演示	论文页面	项目页面	代码库	所属机构	描述
Matte Anything		arXiv	-	代码	华中科技大学视觉实验室	一个交互式的自然图像抠图系统，对不透明和透明物体均表现出色
Matting Anything		arXiv	项目页面	代码	SHI Labs	利用SAM的特征图，并采用Mask-to-Matte模块来预测alpha抠图。

机器人

标题	演示	论文页面	项目页面	代码库	所属机构	描述
Instruct2Act		arXiv	-	代码	OpenGVLab	SAM在机器人领域的应用。

生物信息学

标题	演示	论文页面	项目页面	代码库	所属机构	描述
IAMSAM		bioRxiv	-	代码	Portrai Inc.	一种用于空间转录组学分析的SAM应用。

3D

标题	演示	论文页面	项目页面	代码库	所属机构	描述
Point-SAM		arXiv	页面	代码	UCSD	一种开放世界、原生可提示的3D点云分割方法。
SAMPro3D		arXiv	页面	代码	CUHKSZ, MSRA	一种新颖的方法，通过将SAM应用于2D帧来分割任何3D室内场景，无需任何训练、调优、蒸馏或3D预训练网络。
Seal		arXiv	页面	代码	-	一个能够利用2D视觉基础模型进行大规模3D点云自监督学习的框架。
TomoSAM		arXiv	视频教程	代码	-	一个基于SAM扩展的3D Slicer插件，用于辅助分割来自断层扫描或其他成像技术的3D数据。
SegmentAnythingin3D		arXiv	项目	代码	-	一个名为SA3D的新颖3D“万物分割”框架。

遥感

标题	演示	论文页面	项目页面	代码库	所属机构	描述
RSPrompter		arXiv	项目页面	代码	北京航空航天大学	一种基于SAM的遥感图像自动实例分割方法。
SAM-CD		arXiv	-	代码	中国人民解放军信息工程大学	一个样本高效的变化检测框架，采用SAM作为视觉编码器。
SAM-Road: 用于道路网络图提取的Segment Anything Model		arXiv	-	代码	卡内基梅隆大学	一种简单快速的应用SAM进行大规模道路网络矢量化提取的方法。该方法在达到最先进精度的同时，速度提升了40倍。

跟踪

标题	演示	论文页面	项目页面	代码库	所属机构	描述
Follow Anything		arXiv	页面	代码	MIT、哈佛大学	一个开放词汇、多模态的模型，可实时检测、跟踪并跟随任何物体。
Track-Anything	视频	arXiv	-	代码	MIT、哈佛大学	一个开放词汇、多模态的模型，可实时检测、跟踪并跟随任何物体。
SAM-Track	视频	arXiv	-	代码	MIT、哈佛大学	一个名为“分割与跟踪万物”（SAMTrack）的框架，允许用户精确有效地分割和跟踪视频中的任何物体。

视听定位与分割

标题	演示	论文页	项目页	代码库	所属机构	描述
AV-SAM		arXiv	-	代码	卡内基梅隆大学	一个基于SAM的简单而高效的视听定位与分割框架。

对抗攻击

标题	演示	论文页	项目页	代码库	所属机构	描述
Attack-SAM	-	arXiv	-	-	韩国科学技术院	首次全面研究如何利用对抗样本攻击SAM的工作。

多媒体取证

标题	演示	论文页	项目页	代码库	所属机构	描述
SAFIRE：分割任何伪造图像区域		arXiv	-	代码	韩国科学技术院	将SAM的点提示能力扩展到图像取证领域，实现精确的源信息感知分割，用于伪造内容的定位。

衍生项目

图像分割任务

标题	演示	项目页面	代码库	所属机构	描述
Grounded Segment Anything		Colab & Huggingface	代码	-	结合 Grounding DINO 和 Segment Anything
GroundedSAM 异常检测		-	代码	-	使用 Grounding DINO + SAM 来分割任何异常。
语义 Segment Anything		-	代码	复旦大学	一个密集类别标注引擎。
Magic Copy		-	代码	-	Magic Copy 是一款使用 SAM 的 Chrome 扩展程序。
YOLO-World + EfficientViT SAM		🤗 HuggingFace Space	代码	-	使用 YOLO-World + EfficientViT SAM 实现高效的开放词汇目标检测和分割
Clip 辅助的 Segment Anything		🤗 HuggingFace Space	代码	-	SAM + CLIP
SAM-Clip		-	代码	-	SAM + CLIP。
Prompt Segment Anything		-	代码	-	SAM + 零样本实例分割。
RefSAM	-	-	代码	-	在引用式图像分割任务上评估 SAM 的基本性能。
SAM-RBox		-	代码	-	SAM 在 MMRotate 中用于生成旋转边界框的实现。
开放词汇 Segment Anything		-	代码	-	通过结合 Google 的 OWL-ViT 和 SAM 实现的一个有趣演示。
SegDrawer		-	代码	-	一个简单的基于 Web 的静态掩码绘制工具，支持使用 SAM 进行语义绘图。
AnyLabeling		YoutubeDemo	代码	-	SAM + Labelme + LabelImg + 自动标注。
ISAT 结合 segment anything		YoutubeDemo BiliBili Demo	代码	-	基于 SAM（segment anything 模型）的标注工具，支持 SAM、sam-hq、MobileSAM、EdgeSAM 等。
Annotation Anything Pipeline		-	代码	-	GPT + SAM。
Roboflow Annotate		App	博客	Roboflow	基于 SAM 的辅助标注，用于训练计算机视觉模型。
SALT		-	代码	-	一个为图像标注添加基础界面的工具，并将生成的掩码保存为 COCO 格式。
SAM U Specify		-	代码	-	使用 SAM 和 CLIP 模型来分割您想要的独特实例。
SAM web UI		App	代码	-	这是 SAM 的全新 Web 界面。
Finetune Anything		-	代码	-	一种基于 SAM 的、具有类别感知的一阶段微调模型训练工具。
NanoSAM		-	代码	NVIDIA	一种经过蒸馏的 Segment Anything (SAM) 模型，能够在 NVIDIA TensorRT 上实现实时运行。
Segment-Anything-UI		-	代码	-	一款基于 PySide6 的 Segment Anything 注释工具。
Segment-Anything-2-UI		-	代码	-	一款基于 PySide6 的 Segment Anything 2 注释工具。支持多目标视频跟踪。

视频分割任务

标题	演示	项目页面	代码库	所属机构	描述
MetaSeg		HuggingFace	代码	-	SAM + 视频。
SAM-Track	视频	YoutubeDemo	代码	浙江大学	该项目基于SAM和DeAOT，专注于视频中目标的分割与跟踪。

医学图像分割任务

标题	演示	项目页面	代码库	所属机构	描述
SAM in Napari	视频	-	代码	-	结合Napari的SAM进行任意物体分割。
SAM Medical Imaging		-	代码	-	用于医学影像的SAM。

图像修复任务

标题	演示	项目页面	代码库	所属机构	描述
SegAnythingPro		-	代码	-	SAM + 图像修复/替换。

3D任务

标题	演示	项目页面	代码库	所属机构	描述
3D-Box		-	代码	-	通过将SAM与VoxelNeXt结合，将其扩展到3D感知领域。
Anything 3DNovel View		-	代码	-	SAM + Zero 1-to-3。
Any 3DFace		-	代码	-	SAM + HRN。
Segment Anything 3D		-	代码	Pointcept	通过将2D图像的分割信息迁移到3D空间，将Segment Anything扩展到3D感知领域。

图像生成任务

标题	演示	项目页面	代码库	所属机构	描述
Edit Anything		-	代码	-	对图像中的任何内容进行编辑和生成。
Image Edit Anything		-	代码	-	Stable Diffusion + SAM。
SAM for Stable Diffusion Webui		-	代码	-	Stable Diffusion + SAM。

遥感任务

标题	演示	项目页面	代码库	所属机构	描述
Earth Observation Tools		Colab	代码	-	SAM + 遥感。

运动目标检测任务

标题	演示	项目页面	代码库	所属机构	描述
Moving Object Detection		-	代码	-	SAM + 运动目标检测。

OCR任务

标题	演示	项目页面	代码库	所属机构	描述
OCR-SAM		博客	代码	-	基于SAM的光学字符识别。

前端框架

SAMJS

标题	演示	项目页面	代码库	所属机构	描述
SAMJS		demo	代码	-	SAM的JS SDK，支持遥感数据的分割和矢量化

致谢

本仓库中的部分演示内容借用了原作者的作品，我们对此深表感谢。

许可证

本项目采用MIT许可证发布。更多信息请参阅LICENSE文件。

Awesome Segment Anything 快速上手指南

awesome-segment-anything 是一个汇总了 Segment Anything (SAM) 及其衍生模型（如 SAM2, MobileSAM, MedSAM 等）在计算机视觉各领域应用的研究仓库。本指南将帮助你快速搭建基础环境并运行核心的 SAM 模型。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: Python 3.8 - 3.10
• 硬件要求:
  • 推荐使用 NVIDIA GPU (显存 >= 8GB) 以获得最佳推理速度。
  • 仅使用 CPU 也可运行，但速度较慢。
• 前置依赖:
  • git
  • conda (推荐用于管理虚拟环境) 或 pip
  • PyTorch (需匹配你的 CUDA 版本)

安装步骤

1. 创建并激活虚拟环境

建议使用 Conda 创建独立的虚拟环境以避免依赖冲突。

conda create -n sam-env python=3.9 -y
conda activate sam-env

2. 安装 PyTorch

请访问 PyTorch 官网 获取适合你硬件的命令。以下是基于 CUDA 11.8 的示例（国内用户可使用清华源加速）：

# 使用清华源安装 PyTorch (CUDA 11.8 版本示例)
pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

3. 克隆仓库并安装核心依赖

克隆官方 segment-anything 代码库（这是本列表中大多数衍生项目的基础），并安装所需依赖。

# 克隆 Meta 官方 SAM 仓库
git clone https://github.com/facebookresearch/segment-anything.git
cd segment-anything

# 安装依赖
pip install -e .

提示：如果你需要运行特定的衍生模型（如 MobileSAM 或 MedSAM），请前往 awesome-segment-anything 仓库对应的 "Code base" 链接克隆具体项目，安装步骤通常类似。

4. 下载预训练模型

你需要下载预训练的 Checkpoint 文件。可以从官方链接或国内镜像下载。

# 下载 ViT-H 模型 (高性能版)
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth

# 或者下载 ViT-L 模型 (平衡版)
# wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_l_0b3195.pth

# 或者下载 ViT-B 模型 (轻量版)
# wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth

基本使用

以下是一个最简单的 Python 脚本示例，展示如何加载模型并对图像进行自动掩码生成。

1. 准备一张测试图片（例如 test.jpg）。
2. 创建文件 demo.py 并填入以下代码：

import cv2
import torch
from segment_anything import SamPredictor, sam_model_registry

# 配置参数
model_type = "vit_h"  # 根据下载的模型选择: vit_h, vit_l, 或 vit_b
checkpoint = "sam_vit_h_4b8939.pth"
device = "cuda" if torch.cuda.is_available() else "cpu"

# 初始化模型
sam = sam_model_registry[model_type](checkpoint=checkpoint)
sam.to(device=device)
predictor = SamPredictor(sam)

# 读取图像
image = cv2.imread('test.jpg')
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

# 设置图像
predictor.set_image(image)

# 执行预测 (不使用任何 prompt，尝试生成分割掩码)
# 注意：SAM 通常需要点、框或文本作为 prompt。
# 这里演示自动模式下的全图分割逻辑通常需要结合其他工具，
# 标准用法是提供一个中心点作为示例：
input_point = [[500, 375]]
input_label = [1]

masks, scores, logits = predictor.predict(
    point_coords=input_point,
    point_labels=input_label,
    multimask_output=True,
)

# 选择得分最高的掩码
mask = masks[scores.argmax()]

# 可视化结果
import matplotlib.pyplot as plt

plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.imshow(image)
plt.title("Original Image")
plt.axis('off')

plt.subplot(1, 2, 2)
plt.imshow(image)
plt.imshow(mask, cmap='gray', alpha=0.5)
plt.title(f"Segmented Mask (Score: {scores.max():.2f})")
plt.axis('off')

plt.tight_layout()
plt.show()

3. 运行脚本：

python demo.py

运行成功后，你将看到原图与分割结果的对比图。对于更多特定任务（如医疗影像、视频分割、无提示分割等），请参考 awesome-segment-anything 列表中对应项目的具体文档和代码实现。