GLEE：面向大规模图像和视频的通用目标基础模型

吴俊峰*, 姜毅*, 刘启豪、袁泽寰、白翔^†，以及白松^†

* 共同第一作者，^† 通讯作者

[项目主页] [论文] [HuggingFace 演示] [视频演示]

亮点：

• GLEE 被 CVPR2024 接收，并被评为 Highlight！
• GLEE 是一个通用目标基础模型，在来自不同基准数据集的超过 一千万张图像 上进行联合训练，这些数据集具有多样化的监督信息。
• GLEE 能够同时处理 广泛的以目标为中心的任务，并保持 SOTA 性能。
• GLEE 在各类基于目标的图像和视频任务中展现出卓越的多功能性和强大的 零样本迁移能力，并且可以 作为基础组件 来增强其他架构或模型。

我们将为 GLEE 发布以下内容：exclamation:

• 演示代码

• 模型库

• 完整用户指南

• 训练代码及脚本

• 详细的评估代码及脚本

• 针对新数据集进行零样本测试或微调 GLEE 的教程

快速入门

1. 安装：请参阅 INSTALL.md 获取更多详细信息。
2. 数据准备：请参阅 DATA.md 获取更多详细信息。
3. 训练：请参阅 TRAIN.md 获取更多详细信息。
4. 测试：请参阅 TEST.md 获取更多详细信息。
5. 模型库：请参阅 MODEL_ZOO.md 获取更多详细信息。

运行演示应用

您可以在 [HuggingFace 演示] 上试用我们的在线演示应用，或者在本地运行：

git clone https://github.com/FoundationVision/GLEE
# 支持 CPU 和 GPU 运行
python app.py

引言

GLEE 在来自 16 个数据集的超过一千万张图像上进行了训练，充分利用了现有的标注数据以及经济高效的自动标注数据，构建了一个多样化的训练集。这种大规模的训练使 GLEE 具备强大的泛化能力。

如图所示，GLEE 由图像编码器、文本编码器、视觉提示器和目标解码器组成。文本编码器可以处理与任务相关的任意描述，包括 1) 目标类别列表 2) 任何形式的目标名称 3) 关于目标的标题 4) 指代表达。视觉提示器则会将用户在交互式分割过程中提供的输入，例如 1) 点 2) 边界框 3) 涂鸦，编码为对应目标对象的视觉表示。随后，这些信息会被整合到检测器中，根据文本和视觉输入从图像中提取目标对象。

基于上述设计，GLEE 可以无缝统一图像和视频中的多种目标感知任务，包括目标检测、实例分割、定位、多目标跟踪（MOT）、视频实例分割（VIS）、视频目标分割（VOS）、交互式分割与跟踪等，并支持 开放世界/大词汇量的图像和视频检测与分割 任务。

结果

图像级任务

视频级任务

`

引用 GLEE

@misc{wu2023GLEE,
  author= {Junfeng Wu, Yi Jiang, Qihao Liu, Zehuan Yuan, Xiang Bai, Song Bai},
  title = {面向大规模图像和视频的通用目标基础模型},
  year={2023},
  eprint={2312.09158},
  archivePrefix={arXiv}
}

致谢

• 感谢 UNINEXT 提供多数据集训练和数据处理的实现。

• 感谢 VNext 提供视频实例分割（VIS）的经验。

• 感谢 SEEM 提供视觉提示器的实现。

• 感谢 MaskDINO 提供强大的检测与分割模型。

GLEE 快速上手指南

GLEE (General Object Foundation Model) 是一个面向图像和视频的通用物体基础模型，支持物体检测、实例分割、指代分割、视频目标跟踪等多种任务。本指南将帮助您快速在本地部署并运行 GLEE。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python: 版本 >= 3.8。
• PyTorch: 版本 >= 1.9 (建议配合 CUDA 11.1+ 使用以获得最佳性能，同时也支持 CPU 运行)。
• 硬件:
  • GPU: 推荐使用 NVIDIA GPU (显存建议 16GB+ 以处理高分辨率图像或视频)，用于加速推理和训练。
  • CPU: 仅用于轻量级测试或演示，速度较慢。

前置依赖安装： 建议使用 conda 创建独立环境。

conda create -n glee python=3.9 -y
conda activate glee

2. 安装步骤

第一步：克隆项目代码

从 GitHub 获取最新源代码：

git clone https://github.com/FoundationVision/GLEE
cd GLEE

第二步：安装核心依赖

根据官方指引，核心依赖通常通过 requirements.txt 或特定的安装脚本进行。由于 README 指向了详细的 INSTALL.md，以下是通用的快速安装命令（基于常见 PyTorch 视觉项目结构）：

# 安装 PyTorch (请根据您的 CUDA 版本选择，此处以 CUDA 11.8 为例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装其他 Python 依赖
pip install -r requirements.txt

注意：如果 requirements.txt 中未包含某些特定视觉库（如 detectron2, mmcv 等），请参考项目根目录下的 assets/INSTALL.md 文件进行针对性安装。国内用户若遇到下载慢的问题，可临时使用清华源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

第三步：验证安装

确保没有报错后，即可进行下一步使用。

3. 基本使用

GLEE 提供了简单的演示应用 (app.py)，支持在本地启动一个交互界面，无需编写复杂代码即可体验模型功能。

启动本地演示应用

在项目根目录下运行以下命令：

python app.py

• 该脚本会自动加载预训练模型。
• 支持 CPU 和 GPU 自动切换运行。
• 启动成功后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器中打开即可上传图像或视频进行测试。

在线体验（免安装）

如果您暂时不想配置本地环境，可以直接访问 Hugging Face 上的官方演示空间：

• HuggingFace Demo: https://huggingface.co/spaces/Junfeng5/GLEE_demo

进阶使用提示

• 模型权重：默认情况下，演示脚本可能会尝试自动下载模型。如果需要手动指定模型路径或下载特定版本的权重，请参阅 assets/MODEL_ZOO.md。
• 数据集准备：若需进行训练或在特定数据集上测试，请参考 assets/DATA.md 配置数据路径。
• 训练与测试：完整的训练和评估脚本说明请查阅 assets/TRAIN.md 和 assets/TEST.md。