Grounding DINO 1.5

✨ 首次使用: 如果您对我们的项目感兴趣并希望尝试我们的算法，首次使用时需要通过我们的申请API Token网站申请相应的API Token。

📌 申请额外Token额度: 目前我们已支持微信支付作为付款渠道。用户可通过我们的官方平台购买额外的API调用次数。如在购买过程中遇到任何问题或有其他合作需求，请随时通过以下邮箱联系我们：deepdataspace_dm@idea.edu.cn。

🔥 Grounding DINO 1.6发布: Grounding DINO 1.6 Pro 在零样本迁移基准上取得了新的SOTA结果：COCO 数据集上为 55.4 AP，LVIS-minival 数据集上为 57.7 AP，LVIS-val 数据集上则为 51.1 AP。此外，在一些特定的检测场景中，例如动物检测、文本检测等，其性能显著优于1.5 Pro模型。更多关于1.6版本的详细信息，请参阅我们的官方博客。

目录

• 目录
• 简介
• 模型框架
• 性能
  • 与Grounding DINO的并排性能对比
  • Grounding DINO 1.5 & 1.6 Pro 的零样本迁移结果
  • Grounding DINO 1.5 Pro 的少样本迁移结果
  • 下游数据集上的微调结果
• API使用
  • 1. 安装
  • 2. 从DeepDataSpace申请API
  • 3. 运行示例代码
  • 4. 在线Gradio演示
• 案例分析与定性可视化
• 相关工作
• LICENSE
• BibTeX

简介

我们在此介绍由 IDEA Research 开发的 Grounding DINO 1.5 系列先进开放集目标检测模型，旨在推动开放集目标检测技术的“前沿”。该系列包含两款模型：

• Grounding DINO 1.5 Pro: 我们最强大的开放集目标检测模型，专为在广泛场景中实现更强的泛化能力而设计。

• Grounding DINO 1.5 Edge: 我们在边缘计算场景下最高效的模型，针对许多需要边缘部署的应用场景进行了优化，以满足更高的速度需求。

注：我们使用“edge”一词，既指“突破边界”，也指“在边缘设备上运行”。

模型框架

Grounding DINO 1.5的整体框架如下图所示：

Grounding DINO 1.5 Pro 保留了 Grounding DINO 的核心架构，采用深度早期融合结构。

性能

与Grounding DINO的并排性能对比

Grounding DINO 1.5 Pro 与 Grounding DINO

Grounding DINO 1.5 和 1.6 Pro 的零样本迁移结果

模型	COCO (AP box)	LVIS-minival (AP all)	LVIS-minival (AP rare)	LVIS-val (AP all)	LVIS-val (AP rare)	ODinW35 (AP avg)	ODinW13 (AP avg)
其他最佳 开放集模型	53.4 (OmDet-Turbo)	47.6 (T-Rex2 visual)	45.4 (T-Rex2 visual)	45.3 (T-Rex2 visual)	43.8 (T-Rex2 visual)	30.1 (OmDet-Turbo)	59.8 (APE-B)
DetCLIPv3	-	48.8	49.9	41.4	41.4	-	-
Grounding DINO	52.5	27.4	18.1	-	-	26.1	56.9
T-Rex2 (text)	52.2	54.9	49.2	45.8	42.7	22.0	-
Grounding DINO 1.5 Pro	54.3	55.7	56.1	47.6	44.6	30.2	58.7
Grounding DINO 1.6 Pro	55.4	57.7	57.5	51.1	51.5	-	-

• Grounding DINO 1.5 Pro 在 COCO、LVIS-minival、LVIS-val 和 ODinW35 的 零样本 迁移基准上取得了 SOTA 成绩。
• Grounding DINO 1.6 Pro 显著提升了模型在 COCO 和 LVIS 零样本迁移基准上的表现，尤其是在 LVIS 稀有类别上。

Grounding DINO 1.5 作为强大的少样本学习者

我们在 ODinW 少样本基准上验证了 Grounding DINO 1.5 Pro 的迁移能力，并且 Grounding DINO 1.5 Pro 在 ODinW 少样本设置中取得了新的 SOTA 结果。

模型	微调	1-Shot	3-Shot	5-Shot	10-Shot	全部
DyHead (COCO)	全量	31.9 ± 1.3	44.2 ± 0.3	44.7 ± 1.7	50.1 ± 1.6	63.2
DyHead (O365)	全量	33.8 ± 3.5	43.6 ± 1.0	46.4 ± 1.1	50.8 ± 1.3	60.8
GLIP-L	全量	59.9 ± 1.4	62.1 ± 0.7	64.2 ± 0.3	64.9 ± 0.7	68.9
GLIPv2-H	全量	61.7 ± 0.5	64.1 ± 0.8	64.4 ± 0.6	65.9 ± 0.3	70.4
GLEE-Pro	全量	59.4 ± 1.5	61.7 ± 0.5	64.3 ± 1.3	65.6 ± 0.4	69.0
MQ-GLIP-L	全量	62.4	64.2	65.4	66.6	71.3
Grounding DINO 1.5 Pro	全量	62.4 ± 1.1	66.3 ± 1.0	66.9 ± 0.2	67.9 ± 0.3	72.4

• “全量”表示对整个模型进行微调。
• 参照 GLIP 的做法，对于每个少样本设置，我们使用不同的随机种子进行训练和验证集划分，共训练三次。

下游数据集上的微调结果

模型	LVIS-minival (AP all)	LVIS-minival (AP rare)	LVIS-val (AP all)	LVIS-val (AP rare)	ODinW35 (AP avg)	ODinW13 (AP avg)
GLIP	-	-	-	-	-	68.9
GLEE-Pro	-	-	-	-	-	69.0
GLIPv2	59.8	-	-	-	-	70.4
OWL-ST + FT †	54.4	46.1	49.4	44.6	-	-
DetCLIPv2	58.3	60.1	53.1	49.0	-	70.4
DetCLIPv3	60.5	60.7	-	-	-	72.1
DetCLIPv3 †	60.8	56.7	54.1	45.8	-	-
Grounding DINO 1.5 Pro (zero-shot)	55.7	56.1	47.6	44.6	30.2	58.7
Grounding DINO 1.5 Pro	68.1	68.7	63.5	64.0	70.6	72.4

• † 表示仅使用 LVIS 基础类别进行微调的结果。

API 使用

1. 安装

pip install -v -e .

2. 向 DeepDataSpace 申请 API

请访问 DeepDataSpace 获取 API 密钥：https://deepdataspace.com/request_api

3. 运行演示代码

python demo/demo.py --token <API_TOKEN>

4. 在线 Gradio 演示

python gradio_app.py --token <API_TOKEN>

案例分析与定性可视化

常见目标检测

长尾目标检测

短标题定位

长标题定位

密集目标检测

视频目标检测

边缘设备上的高级目标检测

相关工作

• Grounding DINO：强大的开放集目标检测模型。
• Grounded-Segment-Anything：结合 Grounding DINO 和 SAM 的开放集检测与分割模型。
• T-Rex/T-Rex2：支持文本和视觉提示的通用开放集检测模型。

许可证

Grounding DINO 1.5 API 许可证

Grounding DINO 1.5 采用 Apache 2.0 许可证发布。更多信息请参阅 LICENSE 文件。

版权所有 © IDEA。保留所有权利。

根据 Apache 许可证第 2.0 版（“许可证”）授权；除非符合许可证规定，否则不得使用这些文件。您可以在 http://www.apache.org/licenses/LICENSE-2.0 获取许可证副本。

除非适用法律要求或书面同意，否则在“按原样”基础上分发软件，不提供任何形式的保证或条件，无论是明示还是暗示。有关特定语言的权限和限制，请参阅许可证。

BibTeX

如果您认为我们的工作对您的研究有所帮助，请考虑引用以下 BibTeX 条目。

@misc{ren2024grounding,
      title={Grounding DINO 1.5: 推进开放集目标检测的“边缘”}, 
      author={Tianhe Ren and Qing Jiang and Shilong Liu and Zhaoyang Zeng and Wenlong Liu and Han Gao and Hongjie Huang and Zhengyu Ma and Xiaoke Jiang and Yihao Chen and Yuda Xiong and Hao Zhang and Feng Li and Peijun Tang and Kent Yu and Lei Zhang},
      year={2024},
      eprint={2405.10300},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@misc{jiang2024trex2,
      title={T-Rex2：通过文本-视觉提示协同实现通用目标检测}, 
      author={Qing Jiang and Feng Li and Zhaoyang Zeng and Tianhe Ren and Shilong Liu and Lei Zhang},
      year={2024},
      eprint={2403.14610},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@article{liu2023grounding,
  title={Grounding dino：将 DINO 与接地预训练相结合，用于开放集目标检测},
  author={Liu, Shilong and Zeng, Zhaoyang and Ren, Tianhe and Li, Feng and Zhang, Hao and Yang, Jie and Li, Chunyuan and Yang, Jianwei and Su, Hang and Zhu, Jun 等},
  journal={arXiv 预印本 arXiv:2303.05499},
  year={2023}
}

Grounding-DINO-1.5-API 快速上手指南

Grounding DINO 1.5 是 IDEA Research 推出的最强开源世界目标检测模型系列，包含面向通用场景的 Pro 版本和面向边缘计算优化的 Edge 版本。本指南将帮助您快速通过 API 调用该模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)
• Python 版本: Python 3.8 或更高版本
• 依赖管理: 已安装 pip
• 网络环境: 能够访问 GitHub 及 DeepDataSpace 云服务（如需加速，可配置国内 pip 镜像源）

2. 安装步骤

2.1 克隆项目与安装依赖

将项目代码克隆到本地并使用编辑模式安装：

git clone https://github.com/IDEA-Research/Grounding-DINO-1.5-API.git
cd Grounding-DINO-1.5-API

# 推荐使用国内镜像源加速安装
pip install -v -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

2.2 获取 API Token

本项目模型托管于 DeepDataSpace 平台，首次使用必须申请 API Token：

1. 访问 API Token 申请页面。
2. 注册/登录账号并提交申请获取 Token。
3. （可选）如需更多调用次数，可通过 官方平台 使用微信支付购买额度。

3. 基本使用

3.1 运行命令行 Demo

获取 Token 后，替换下方 <API_TOKEN> 为您的实际密钥，运行测试脚本：

python demo/demo.py --token <API_TOKEN>

3.2 启动在线交互界面 (Gradio)

如果您希望使用图形化界面进行实时检测测试，可运行以下命令启动本地 Gradio 服务：

python gradio_app.py --token <API_TOKEN>

启动成功后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器打开即可上传图片并输入文本提示词进行检测。