针对GPT-4V的标记集合视觉提示

:grapes: [阅读我们的arXiv论文]   :apple: [项目页面]

Jianwei Yang*⚑, Hao Zhang*, Feng Li*, Xueyan Zou*, Chunyuan Li, Jianfeng Gao

* 核心贡献者      ⚑ 项目负责人

简介

我们提出了Set-of-Mark (SoM) 提示方法，即在图像上简单叠加若干空间和可语音化的标记，以充分释放最强多模态大模型——GPT-4V中的视觉定位能力。让我们用视觉提示来增强视觉理解力吧！

GPT-4V + SoM 演示

https://github.com/microsoft/SoM/assets/3894247/8f827871-7ebd-4a5e-bef5-861516c4427b

🔥 最新消息

• [04/25] 我们发布了SoM-LLaVA，并附带了一个新的数据集，旨在通过SoM提示增强开源多模态大模型的能力。快来看看吧！SoM-LLaVA

• [11/21] 感谢Roboflow和@SkalskiP，一个关于SoM + GPT-4V的Hugging Face演示已经上线了！快来试试吧！

• [11/07] 我们发布了用于评估GPT-4V结合SoM提示效果的视觉基准测试！请查看基准测试页面！

• [11/07] 随着GPT-4V API的发布，我们推出了一款将SoM集成到GPT-4V中的演示程序！

export OPENAI_API_KEY=YOUR_API_KEY
python demo_gpt4v_som.py

• [10/23] 我们发布了用于为GPT-4V生成标记集合提示的SoM工具箱代码。快来试一试吧！

🔗 引人入胜的应用场景

SoM在GPT-4V中的引人入胜的应用：

• [2023年11月13日] 基于标记集合提示的智能手机GUI导航增强
• [2023年11月5日] 使用GPT-4V和SoM提示进行零样本异常检测
• [2023年10月21日] 受标记集合提示启发的Web UI导航智能体
• [2023年10月20日] 由Roboflow的@SkalskiP重新实现的标记集合提示

🔗 相关工作

我们的方法整合了以下模型来生成标记集合：

• Mask DINO：最先进的封闭集图像分割模型
• OpenSeeD：最先进的开放词汇图像分割模型
• GroundingDINO：最先进的开放词汇目标检测模型
• SEEM：多功能、可提示、交互式且语义感知的分割模型
• Semantic-SAM：可在任何粒度下分割并识别任何内容
• Segment Anything：可分割任何内容

我们站在GPT-4V这一巨人的肩膀上（体验平台）！

:rocket: 快速入门

• 安装分割相关包

# 安装SEEM
pip install git+https://github.com/UX-Decoder/Segment-Everything-Everywhere-All-At-Once.git@package
# 安装SAM
pip install git+https://github.com/facebookresearch/segment-anything.git
# 安装Semantic-SAM
pip install git+https://github.com/UX-Decoder/Semantic-SAM.git@package
# 安装用于Semantic-SAM的可变形卷积
cd ops && bash make.sh && cd ..

# 常见错误修复：
python -m pip install 'git+https://github.com/MaureenZOU/detectron2-xyz.git'

• 下载预训练模型

sh download_ckpt.sh

• 运行演示程序

python demo_som.py

你将会看到如下界面：

部署到AWS

要通过Github Actions将SoM部署到AWS的EC2实例上：

1. 分支本仓库并将你的分支克隆到本地。
2. 按照deploy.py文件顶部的说明操作。

:point_right: 标准GPT-4V与其结合SoM提示的对比

:round_pushpin: SoM工具箱用于图像分割

用户可以选择生成何种粒度的掩码，以及是在自动模式（上方）还是交互模式（下方）之间进行切换。为了更好的可视化效果，采用了较高的混合透明度值（0.4）。

:unicorn: 交错提示

SoM支持包含文本和视觉内容的交错提示。视觉内容可以通过区域索引来表示。

:medal_military: SoM中使用的标记类型

:volcano: 评估任务示例

使用场景

:tulip: 基于图像的推理与跨图像引用

与未使用SoM提示的GPT-4V相比，添加标记后，GPT-4V能够将推理建立在图像的详细内容之上（左）。右侧则清晰地展示了对象之间的跨图像引用。 17

:camping: 问题解决

以解决CAPTCHA为例。GPT-4V在没有标记的情况下给出了错误的答案，未能正确识别方块数量；而在经过SoM提示后，它不仅找到了正确的方块，还准确地将它们与对应的标记关联起来。

:mountain_snow: 知识分享

以一道菜肴的图片为例。GPT-4V在原始图像的基础上无法给出有依据的回答。而借助SoM提示，GPT-4V不仅能够说出食材，还能将这些食材与图像中的相应区域一一对应。

:mosque: 个性化建议

经过SoM提示的GPT-4V给出了非常精确的建议，而原始版本则失败了，甚至出现了幻觉性的食物，例如软饮料。

:blossom: 工具使用说明

同样地，结合 SoM 的 GPT4-V 可以帮助提供详尽的工具使用说明，教导用户控制器上每个按钮的功能。请注意，这张图片并未完全标注，而 GPT-4V 也能补充说明未标注按钮的相关信息。

:sunflower: 2D 游戏策划

结合 SoM 的 GPT-4V 能够针对游戏场景中的目标达成给出合理的建议。

:mosque: 模拟导航

:deciduous_tree: 实验结果

我们针对多种视觉任务开展了实验，以验证所提出 SoM 方法的有效性。结果表明，GPT4V+SoM 在大多数视觉任务上均优于专业模型，在 COCO 全景分割任务上与 MaskDINO 持平。

:black_nib: 引用

如果您认为我们的工作对您的研究有所帮助，请考虑引用以下 BibTeX 条目：

@article{yang2023setofmark,
      title={Set-of-Mark 提示释放 GPT-4V 中非凡的视觉定位能力}, 
      author={Jianwei Yang 和 Hao Zhang 和 Feng Li 和 Xueyan Zou 和 Chunyuan Li 和 Jianfeng Gao},
      journal={arXiv 预印本 arXiv:2310.11441},
      year={2023},
}

SoM (Set-of-Mark) 快速上手指南

SoM 是一种视觉提示技术，通过在图像上叠加空间标记（如编号、高亮），显著增强 GPT-4V 等多模态大模型的视觉定位与推理能力。本指南将帮助您快速部署并运行 SoM 工具箱。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 macOS。Windows 用户建议使用 WSL2。
• Python: 版本 3.8 或更高。
• GPU: 推荐使用 NVIDIA GPU 以加速分割模型推理（需安装对应的 CUDA 驱动）。
• API Key: 若要运行 GPT-4V 演示，需拥有有效的 OPENAI_API_KEY。
• 依赖库: 确保已安装 git, pip, cmake 等基础构建工具。

注意：本项目依赖多个大型分割模型（如 SAM, SEEM, GroundingDINO），首次运行时会自动下载预训练权重，请确保网络连接通畅。国内用户若遇到下载缓慢，可配置代理或使用国内镜像源加速 pip 包安装。

安装步骤

1. 安装分割算法包

依次执行以下命令安装核心依赖。为解决国内网络问题，建议在 pip install 后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华镜像源。

# 安装 SEEM
pip install git+https://github.com/UX-Decoder/Segment-Everything-Everywhere-All-At-Once.git@package

# 安装 SAM (Segment Anything)
pip install git+https://github.com/facebookresearch/segment-anything.git

# 安装 Semantic-SAM
pip install git+https://github.com/UX-Decoder/Semantic-SAM.git@package

# 编译 Semantic-SAM 所需的 Deformable Convolution 算子
cd ops && bash make.sh && cd ..

# 修复常见的 detectron2 依赖问题
python -m pip install 'git+https://github.com/MaureenZOU/detectron2-xyz.git'

2. 下载预训练模型

运行官方提供的脚本下载所有必需的预训练权重文件：

sh download_ckpt.sh

基本使用

运行本地演示工具箱

安装完成后，运行以下命令启动 SoM 交互式界面。该界面允许您上传图片、选择标记粒度（自动或交互模式），并生成带有视觉标记的提示图。

python demo_som.py

启动成功后，您将看到一个图形化界面，可以调整 Alpha 混合度以优化可视化效果，并导出处理后的图像用于后续的大模型推理。

集成 GPT-4V 演示

若您希望直接体验 SoM 与 GPT-4V 的结合效果，请先设置环境变量，然后运行专用演示脚本：

export OPENAI_API_KEY=YOUR_API_KEY
python demo_gpt4v_som.py

该脚本将自动对图像进行标记处理，并调用 GPT-4V API 进行带视觉提示的推理，展示增强的视觉定位与回答能力。