👀SEEM: 一次性分割所有地方的一切

:grapes: [阅读我们的 arXiv 论文]   :apple: [体验我们的演示]

我们提出了 SEEM，它能够通过多模态提示一次性在任何地方分割任何内容。SEEM 允许用户使用多种类型的提示轻松地对图像进行分割，包括视觉提示（点、标记、框、涂鸦和图像片段）以及语言提示（文本和音频）等。它还可以处理任意组合的提示，甚至可以推广到自定义提示！

作者：Xueyan Zou*、Jianwei Yang*、Hao Zhang*、Feng Li*、Linjie Li、Jianfeng Wang、Lijuan Wang、Jianfeng Gao^、Yong Jae Lee^，发表于 NeurIPS 2023。

简要介绍我们可以完成的所有通用和交互式分割任务！

:rocket: 最新动态

• [2023.11.2] SEEM 被应用于 LLaVA-Interactive：一个集图像聊天、分割、生成和编辑于一体的全能演示。通过视觉聊天体验交互式图像编辑的未来。 [项目页面] [演示] [代码] [论文]
• [2023.10.23] SEEM 被用于 Set-of-Mark Prompting：一种全新的针对 GPT-4V 的视觉提示技术！它彻底释放了 GPT-4V 非凡的视觉定位能力！ [项目页面] [代码] [论文]
• [2023.10.10] 我们发布了 SEEM-Large-v1 的训练 日志 和 SEEM-Tiny-v1 的 日志！
• [2023.10.04] 我们很高兴地发布：:white_check_mark: X-Decoder 和 SEEM 的 训练/评估/演示代码，:white_check_mark: 新的检查点，以及 :white_check_mark: 全面的说明文档！
• [2023.09.25] 我们的论文已被 NeurIPS 2023 接受！
• [2023.07.27] 我们很高兴地发布了我们的 X-Decoder 训练代码！其衍生模型 SEEM 的训练代码也将很快发布！
• [2023.07.10] 我们发布了 Semantic-SAM，这是一种通用的图像分割模型，能够在任何所需的粒度上实现对任何内容的分割和识别。代码和检查点现已可用！
• [2023.05.02] 我们发布了 SEEM Focal-L 和 X-Decoder Focal-L 检查点以及 配置文件！
• [2023.04.28] 我们更新了 ArXiv，其中展示了 比 SAM 更好的交互式分割效果，而我们的训练数据量是 SAM 的五倍！
• [2023.04.26] 我们发布了 演示代码 和 SEEM-Tiny 检查点！请尝试一键启动的版本！
• [2023.04.20] SEEM 引用视频分割功能上线！请试用 视频演示 并查看 NERF 示例。

:bookmark_tabs: 目录

我们发布了以下内容，适用于SEEM 和 X-Decoder：exclamation:

• 演示代码
• 模型检查点
• 全面的用户指南
• 训练代码
• 评估代码

:point_right: Linux 下的一行 SEEM 演示：

git clone git@github.com:UX-Decoder/Segment-Everything-Everywhere-All-At-Once.git && sh assets/scripts/run_demo.sh

:round_pushpin: [新] 快速入门：

• INSTALL.md
  
• DATASET.md
  
• TRAIN.md
  
• EVAL.md

:round_pushpin: [新] 最新检查点与指标：

			COCO			Ref-COCOg			VOC		SBD
方法	Checkpoint	Backbone	PQ ↑	mAP ↑	mIoU ↑	cIoU ↑	mIoU ↑	AP50 ↑	NoC85 ↓	NoC90 ↓	NoC85 ↓	NoC90 ↓
X-Decoder	ckpt	Focal-T	50.8	39.5	62.4	57.6	63.2	71.6	-	-	-	-
X-Decoder-oq201	ckpt	Focal-L	56.5	46.7	67.2	62.8	67.5	76.3	-	-	-	-
SEEM_v0	ckpt	Focal-T	50.6	39.4	60.9	58.5	63.5	71.6	3.54	4.59	*	*
SEEM_v0	-	Davit-d3	56.2	46.8	65.3	63.2	68.3	76.6	2.99	3.89	5.93	9.23
SEEM_v0	ckpt	Focal-L	56.2	46.4	65.5	62.8	67.7	76.2	3.04	3.85	*	*
SEEM_v1	ckpt	SAM-ViT-B	52.0	43.5	60.2	54.1	62.2	69.3	2.53	3.23	*	*
SEEM_v1	ckpt	SAM-ViT-L	49.0	41.6	58.2	53.8	62.2	69.5	2.40	2.96	*	*
SEEM_v1	ckpt/log	Focal-T	50.8	39.4	60.7	58.5	63.7	72.0	3.19	4.13	*	*
SEEM_v1	ckpt/log	Focal-L	56.1	46.3	65.8	62.4	67.8	76.0	2.66	3.44	*	*

SEEM_v0: 支持单个交互式对象的训练和推理
SEEM_v1: 支持多个交互式对象的训练和推理

:fire: 相关项目：

• FocalNet 和 DaViT : 我们使用 FocalNet 和 DaViT 作为视觉骨干网络。
• UniCL : 我们使用统一对比学习技术来学习图像-文本表示。
• X-Decoder : 我们基于 X-Decoder 构建了 SEEM，X-Decoder 是一种通用解码器，可以仅用一个模型完成多项任务。

:fire: 其他你可能会感兴趣的项目：

• Semantic-SAM，一种通用图像分割模型，可在任何所需的粒度上实现对任何事物的分割和识别
• OpenSeed ：强大的开放集分割方法。
• Grounding SAM ：结合 Grounding DINO 和 Segment Anything；Grounding DINO：一种强大的开放集检测模型。
• X-GPT ：由 X-Decoder 提供支持的对话式视觉智能体。
• LLaVA ：大型语言和视觉助手。

:bulb: 亮点

受 LLM 中吸引人的通用接口启发，我们倡导使用单一模型为任何类型的分割构建通用、交互式的多模态接口。我们强调 SEEM 的以下 4 个重要特性。

1. 多功能性：可处理多种类型的提示，例如点击、框选、多边形、涂鸦、文本以及指代图像；
2. 组合性：能够处理任意组合的提示；
3. 交互性：通过 SEEM 的记忆提示功能存储会话历史，从而实现多轮交互；
4. 语义感知：为任何预测的掩码赋予语义标签；

:unicorn: 如何使用演示

• 首先尝试我们的默认示例；
• 上传一张图片；
• 选择至少一种你想要使用的提示类型（如果你想使用另一张图片中的参考区域，请查看“示例”并在参考图片面板中上传另一张图片）；
• 请务必为每种你选择的提示类型提供实际的提示，否则会出现错误（例如，在参考图片上绘制时要记得画出来）；
• 我们的模型默认支持 COCO 80 类别的词汇表，其他类别将被归类为“其他”或出现分类错误。如果你想使用开放词汇标签进行分割，请在绘制涂鸦后在“文本”按钮中输入文本标签。
• 点击“提交”并等待几秒钟。

:volcano: 一个有趣的例子

变形金刚的一个例子。参考图是擎天柱的卡车形态。无论擎天柱处于何种形态，我们的模型总能在目标图像中将其分割出来。感谢 Hongyang Li 提供的这个有趣示例。

:tulip: NERF 示例

• 受到 SA3D 中示例的启发，我们在 NERF 示例上尝试了 SEEM，效果非常好 :)

:camping: 点击、涂鸦生成掩码

只需用户简单点击或涂抹，我们就能生成对应的掩码及其类别标签。

:mountain_snow: 文本转掩码

SEEM 可以根据用户的文本输入生成掩码，实现与人类的多模态交互。

:mosque: 引用图像转掩码

只需在参考图像上简单点击或涂抹，模型就能在目标图像上分割出语义相似的对象。

SEEM 对空间关系的理解非常到位。看看这三只斑马！分割出的斑马位置与参考斑马的位置非常接近。例如，当上排最左边的斑马被引用时，下排最左边的斑马也会被分割出来。

:blossom: 引用图像转视频掩码

无需对视频数据进行训练，SEEM 能够完美地根据您指定的任何查询来分割视频！

:sunflower: 音频转掩码

我们使用 Whisper 将音频转换为文本提示，从而分割目标物体。快来我们的演示中试试吧！

:deciduous_tree: 多种风格示例

一个分割表情包的例子。

一个分割卡通风格树木的例子。

一个分割 Minecraft 图片的例子。

一个使用引用图像处理热门泰迪熊的例子。

模型

与 SAM 的对比

在下图中，我们比较了三种分割任务（边缘检测、开放集分割和交互式分割）在交互性和语义性方面的差异。开放集分割通常需要较高的语义理解，且不需要交互；而与 SAM 相比，SEEM 覆盖的交互和语义范围更广。例如，SAM 仅支持点和框等有限的交互方式，且由于自身不输出语义标签，无法完成高语义的任务。其原因在于：首先，SEEM 拥有统一的提示编码器，能够将所有视觉和语言提示编码到一个联合表示空间中，因此可以支持更广泛的使用场景，并具备扩展至自定义提示的能力。其次，SEEM 在文本到掩码（接地分割）方面表现优异，并能输出具有语义感知的预测结果。

:cupid: 致谢

• 我们感谢 Hugging Face 在演示中提供的 GPU 支持！

SEEM 快速上手指南

SEEM (Segment Everything Everywhere All at Once) 是一个通用的交互式多模态图像分割模型。它支持使用多种提示（如点击、框选、涂鸦、文本、参考图等）一次性分割图像中的任何对象，并能为分割结果提供语义标签。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡 (推荐显存 ≥ 8GB)
• 前置依赖:
  • PyTorch (建议 1.10+)
  • torchvision
  • detectron2
  • opencv-python
  • timm
  • transformers

注意: 本项目依赖 detectron2，在 Windows 上安装较为复杂，强烈建议在 Linux 环境下运行。

2. 安装步骤

步骤一：克隆项目代码

git clone git@github.com:UX-Decoder/Segment-Everything-Everywhere-All-At-Once.git
cd Segment-Everything-Everywhere-All-At-Once

步骤二：创建虚拟环境并安装依赖

建议使用 Conda 创建独立环境：

conda create -n seem python=3.8 -y
conda activate seem

安装 PyTorch (请根据您的 CUDA 版本调整，以下为 CUDA 11.7 示例)：

pip install torch==2.0.1 torchvision==0.15.2 --index-url https://download.pytorch.org/whl/cu117

安装其他核心依赖及 detectron2：

pip install -r requirements.txt
pip install 'git+https://github.com/facebookresearch/detectron2.git'

国内加速提示: 如果下载依赖较慢，可添加国内镜像源参数，例如： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

步骤三：下载预训练模型

您需要下载预训练权重文件才能运行演示。以下是推荐的 SEEM v1 (Focal-L) 模型（性能最佳）：

mkdir checkpoints
wget -O checkpoints/seem_focall_v1.pt https://huggingface.co/xdecoder/SEEM/resolve/main/seem_focall_v1.pt

备选方案: 如果 HuggingFace 下载缓慢，可尝试使用国内镜像站或手动下载后上传至服务器。

3. 基本使用

方式一：一键启动演示 (One-Line Demo)

项目提供了自动化脚本，配置好环境和模型后，可直接运行以下命令启动本地 Web 演示界面：

sh assets/scripts/run_demo.sh

运行成功后，终端会显示一个本地地址（通常是 http://127.0.0.1:6090 或类似端口）。在浏览器中打开该地址即可使用图形化界面。

图形界面操作简述：

1. 上传图片: 点击上传按钮选择待分割图片。
2. 选择提示类型: 勾选您想使用的提示方式（如 Point, Box, Scribble, Text 等）。
3. 输入提示:
   • 视觉提示: 在图片上点击、画框或涂鸦。
   • 文本提示: 在文本框输入物体名称（支持开放词汇，若未命中 COCO 80 类，需配合涂鸦使用文本标签）。
   • 参考图: 若使用参考图分割，需在对应面板上传参考图并在其上标注。
4. 提交: 点击 "Submit" 按钮，等待几秒即可看到分割掩码和类别标签。

方式二：命令行推理 (Python 脚本)

如果您希望通过代码调用，可以参考 demo_code 目录下的示例。以下是一个最小化的 Python 调用逻辑示意：

import cv2
from seem.modeling.BaseModel import BaseModel as Base
from seem.utils.arguments import load_opt_from_config_file
from seem.utils.misc import concat_all_gather

# 加载配置文件和模型权重
opt = load_opt_from_config_file('demo_code/configs/seem/seem_focall_lang.yaml')
opt.model_weight = 'checkpoints/seem_focall_v1.pt'

# 初始化模型
model = Base(opt).eval().cuda()

# 读取图像
image = cv2.imread('assets/images/example.jpg')

# 构建提示 (示例：中心点提示 + 文本提示)
# 具体 API 调用请参考 demo_code/inference_seem.py 中的详细实现
# prompts = {'points': [[h, w]], 'texts': ['object_name']} 
# outputs = model.inference(image, prompts)

提示: 完整的代码示例请查阅项目根目录下的 demo_code/inference_seem.py 文件，其中包含了处理不同提示类型（点、框、文本、参考图）的完整逻辑。

---

更多高级功能（如训练、评估、视频分割）请参考项目仓库中的 TRAIN.md 和 EVAL.md 文档。