:sauropod: Grounding DINO

IDEA-CVR, IDEA-Research

刘士龙、曾昭阳、任天贺、李峰、张浩、杨杰、李春元、杨建伟、苏航、朱俊、张磊^:email:.

[论文] [Demo] [BibTex]

Grounding DINO 的 PyTorch 实现及预训练模型。详情请参阅论文 Grounding DINO：将 DINO 与接地式预训练结合用于开放集目标检测。

• 🔥 Grounded SAM 2 已发布，它将 Grounding DINO 与 SAM 2 结合，适用于开放世界场景中的任意对象跟踪。
• 🔥 Grounding DINO 1.5 已发布，这是 IDEA Research 打造的 最强大 的开放世界目标检测模型！
• 🔥 Grounding DINO 和 Grounded SAM 现已在 Hugging Face 上提供支持。为方便使用，您可以参考 此文档。

:sun_with_face: 有用的教程

• :grapes: [阅读我们的 arXiv 论文]
• :apple: [观看我们在 YouTube 上的简单介绍视频]
• :blossom:  [尝试 Colab 演示]
• :sunflower: [尝试我们的官方 Hugging Face 演示]
• :maple_leaf: [观看 Roboflow AI 关于 GroundingDINO 的分步教程]
• :mushroom: [Roboflow AI 的 GroundingDINO：自动化数据集标注与评估]
• :hibiscus: [Roboflow AI 利用 SAM 和 GroundingDINO 加速图像标注]
• :white_flower: [Autodistill：基于 Grounding-DINO 和 Grounded-SAM，零标注训练 YOLOv8]

:sparkles: 亮点项目

• Semantic-SAM：一种通用图像分割模型，可在任何所需粒度上实现对任何内容的分割和识别。,
• DetGPT：通过推理检测你需要的内容
• Grounded-SAM：将 Grounding DINO 与 Segment Anything 结合
• Grounding DINO 与 Stable Diffusion 结合
• Grounding DINO 与 GLIGEN 结合，用于可控图像编辑
• OpenSeeD：一个简单而强大的开放集分割模型
• SEEM：一次完成所有地方的所有内容的分割
• X-GPT：由 X-Decoder 支持的对话式视觉智能体
• GLIGEN：开放集接地式文本到图像生成
• LLaVA：大型语言与视觉助手

:bulb: 亮点

• 开放集检测。 用语言检测 一切！
• 高性能。 COCO 零样本 52.5 AP（未使用 COCO 数据进行训练！）。COCO 微调 63.0 AP。
• 灵活。 可与 Stable Diffusion 协同用于图像编辑。

:fire: 新闻

• 2023/07/18: 我们发布了Semantic-SAM，这是一个通用图像分割模型，能够在任意所需的粒度上实现对任何对象的分割和识别。代码和检查点现已开放！
• 2023/06/17: 我们提供了一个示例，用于评估Grounding DINO在COCO数据集上的零样本性能。
• 2023/04/15: 对于那些对开放集识别感兴趣的人，请参阅CV in the Wild Readings！
• 2023/04/08: 我们发布了demos，将Grounding DINO与GLIGEN结合，以实现更可控的图像编辑。
• 2023/04/08: 我们发布了demos，将Grounding DINO与Stable Diffusion结合，用于图像编辑。
• 2023/04/06: 我们构建了一个新的演示，将GroundingDINO与Segment-Anything相结合，命名为**Grounded-Segment-Anything**，旨在支持GroundingDINO中的分割功能。
• 2023/03/28: 一段关于Grounding DINO和基础目标检测提示工程的YouTube视频。[SkalskiP]
• 2023/03/28: 在Hugging Face Space上新增了一个demo！
• 2023/03/27: 支持仅CPU模式。现在该模型可以在没有GPU的机器上运行。
• 2023/03/25: 在Colab上提供了一个关于Grounding DINO的demo。[SkalskiP]
• 2023/03/22: 代码现已开放！

描述

论文介绍。 将Grounding DINO和GLIGEN结合

:star: Grounding DINO 输入与输出的解释/技巧

• Grounding DINO 接受一个(图片, 文本)对作为输入。
• 它会输出900个（默认）目标框。每个框都包含与所有输入词语的相似度分数。（如图所示。）
• 默认情况下，我们会选择那些最高相似度高于box_threshold的框。
• 我们会提取那些相似度高于text_threshold的词语作为预测标签。
• 如果你想获取特定短语的对象，比如句子two dogs with a stick.中的dogs，你可以选择与dogs文本相似度最高的框作为最终输出。
• 请注意，每个单词可能会被不同的分词器拆分成多个标记。因此，句子中的单词数量可能并不等于文本标记的数量。
• 我们建议在Grounding DINO中使用.来分隔不同的类别名称。

:label: 待办事项

• 发布推理代码和演示。
• 发布检查点。
• 提供Grounding DINO与Stable Diffusion和GLIGEN结合的演示。
• 发布训练代码。

:hammer_and_wrench: 安装

注意：

0. 如果你有CUDA环境，请确保已设置环境变量CUDA_HOME。如果没有CUDA，程序将以仅CPU模式编译。

请严格按照以下安装步骤操作，否则程序可能会报错：

NameError: name '_C' is not defined

如果出现此错误，请重新克隆仓库并再次执行所有安装步骤来重新安装GroundingDINO。

如何检查CUDA：

echo $CUDA_HOME

如果没有任何输出，则表示你尚未设置路径。

运行以下命令以在当前Shell中设置环境变量：

export CUDA_HOME=/path/to/cuda-11.3

请注意，CUDA版本应与你的CUDA运行时版本一致，因为同一时间可能存在多个CUDA版本。

如果你想永久设置CUDA_HOME，可以将其添加到配置文件中：

echo 'export CUDA_HOME=/path/to/cuda' >> ~/.bashrc

之后，加载.bashrc文件并检查CUDA_HOME：

source ~/.bashrc
echo $CUDA_HOME

在本示例中，/path/to/cuda-11.3应替换为你CUDA工具包的实际安装路径。你可以在终端中输入which nvcc来找到它：

例如，如果输出是/usr/local/cuda/bin/nvcc，那么：

export CUDA_HOME=/usr/local/cuda

安装：

1. 从GitHub克隆GroundingDINO仓库。

git clone https://github.com/IDEA-Research/GroundingDINO.git

2. 切换到GroundingDINO目录。

cd GroundingDINO/

3. 在当前目录中安装所需的依赖项。

pip install -e .

4. 下载预训练模型权重。

mkdir weights
cd weights
wget -q https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth
cd ..

:arrow_forward: 演示

检查你的 GPU ID（仅在使用 GPU 时）

nvidia-smi

将以下命令中的 {GPU ID}、image_you_want_to_detect.jpg 和 "dir you want to save the output" 替换为适当的值

CUDA_VISIBLE_DEVICES={GPU ID} python demo/inference_on_a_image.py \
-c groundingdino/config/GroundingDINO_SwinT_OGC.py \
-p weights/groundingdino_swint_ogc.pth \
-i image_you_want_to_detect.jpg \
-o "dir you want to save the output" \
-t "chair"
 [--cpu-only] # 打开以 CPU 模式运行

如果你想指定要检测的短语，这里有一个演示：

CUDA_VISIBLE_DEVICES={GPU ID} python demo/inference_on_a_image.py \
-c groundingdino/config/GroundingDINO_SwinT_OGC.py \
-p ./groundingdino_swint_ogc.pth \
-i .asset/cat_dog.jpeg \
-o logs/1111 \
-t "There is a cat and a dog in the image ." \
--token_spans "[[[9, 10], [11, 14]], [[19, 20], [21, 24]]]"
 [--cpu-only] # 打开以 CPU 模式运行

token_spans 指定了短语的起始和结束位置。例如，第一个短语是 [[9, 10], [11, 14]]。"There is a cat and a dog in the image ."[9:10] = 'a', "There is a cat and a dog in the image ."[11:14] = 'cat'。因此，它指的是短语 a cat。同样地，[[19, 20], [21, 24]] 指的是短语 a dog。

更多详细信息请参阅 demo/inference_on_a_image.py。

使用 Python 运行：

from groundingdino.util.inference import load_model, load_image, predict, annotate
import cv2

model = load_model("groundingdino/config/GroundingDINO_SwinT_OGC.py", "weights/groundingdino_swint_ogc.pth")
IMAGE_PATH = "weights/dog-3.jpeg"
TEXT_PROMPT = "chair . person . dog ."
BOX_TRESHOLD = 0.35
TEXT_TRESHOLD = 0.25

image_source, image = load_image(IMAGE_PATH)

boxes, logits, phrases = predict(
    model=model,
    image=image,
    caption=TEXT_PROMPT,
    box_threshold=BOX_TRESHOLD,
    text_threshold=TEXT_TRESHOLD
)

annotated_frame = annotate(image_source=image_source, boxes=boxes, logits=logits, phrases=phrases)
cv2.imwrite("annotated_image.jpg", annotated_frame)

Web UI

我们还提供了一个演示代码，用于将 Grounding DINO 集成到 Gradio Web UI 中。更多详细信息请参阅文件 demo/gradio_app.py。

Notebooks

• 我们发布了演示，将Grounding DINO与GLIGEN结合，实现更可控的图像编辑。
• 我们发布了演示，将Grounding DINO与Stable Diffusion结合，用于图像编辑。

COCO 零样本评估

我们提供了一个示例，用于评估 Grounding DINO 在 COCO 数据集上的零样本性能。结果应为 48.5。

CUDA_VISIBLE_DEVICES=0 \
python demo/test_ap_on_coco.py \
 -c groundingdino/config/GroundingDINO_SwinT_OGC.py \
 -p weights/groundingdino_swint_ogc.pth \
 --anno_path /path/to/annoataions/ie/instances_val2017.json \
 --image_dir /path/to/imagedir/ie/val2017

:luggage: 检查点

	名称	骨干网络	数据集	COCO 上的框 AP	检查点	配置文件
1	GroundingDINO-T	Swin-T	O365,GoldG,Cap4M	48.4（零样本）/ 57.2（微调）	GitHub 链接 | HF 链接	链接
2	GroundingDINO-B	Swin-B	COCO,O365,GoldG,Cap4M,OpenImage,ODinW-35,RefCOCO	56.7	GitHub 链接 | HF 链接	链接

:medal_military: 结果

COCO 物体检测结果

ODinW 物体检测结果

将 Grounding DINO 与 Stable Diffusion 结合进行图像编辑

请参阅我们的示例 notebook 以获取更多详情。

将 Grounding DINO 与 GLIGEN 结合，实现更精细的图像编辑。

请参阅我们的示例 notebook 以获取更多详情。

:sauropod: 模型：Grounding DINO

包括：文本骨干网络、图像骨干网络、特征增强器、语言引导的查询选择以及跨模态解码器。

:hearts: 致谢

我们的模型与 DINO 和 GLIP 有关。感谢他们的杰出工作！

我们还要感谢 DETR、Deformable DETR、SMCA、Conditional DETR、Anchor DETR、Dynamic DETR、DAB-DETR、DN-DETR 等优秀的工作。更多相关工作可在 Awesome Detection Transformer 中找到。此外，还有一个新的工具箱 detrex 可供使用。

感谢 Stable Diffusion 和 GLIGEN 提供的优秀模型。

:black_nib: 引用

如果您认为我们的工作对您的研究有所帮助，请考虑引用以下 BibTeX 条目。

@article{liu2023grounding,
  title={Grounding DINO：将 DINO 与接地式预训练相结合用于开放集目标检测},
  author={刘士龙和曾昭阳和任天贺和李峰和张浩和杨杰和李春元和杨建伟和苏航和朱俊和其他人},
  journal={arXiv 预印本 arXiv:2303.05499},
  year={2023}
}

Grounding DINO 快速上手指南

Grounding DINO 是一款强大的开源零样本（Zero-Shot）目标检测模型。它能够结合图像和文本提示，检测出任意指定的物体，无需针对特定类别进行重新训练。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 Windows (可能需要额外配置编译环境)。
• Python: 3.8 或更高版本。
• PyTorch: 1.10.0 或更高版本（建议与您的 CUDA 版本匹配）。
• CUDA: 如果需要使用 GPU 加速，必须安装 CUDA Toolkit 并设置环境变量 CUDA_HOME。
  • 检查 CUDA 路径: 在终端运行 which nvcc。如果输出例如 /usr/local/cuda/bin/nvcc，则您的 CUDA 路径为 /usr/local/cuda。
  • 设置环境变量 (临时): export CUDA_HOME=/usr/local/cuda
  • 设置环境变量 (永久): 将 export CUDA_HOME=/path/to/cuda 添加到 ~/.bashrc 并运行 source ~/.bashrc。
• 编译工具: 需要安装 gcc 和 g++ 以编译自定义算子。

2. 安装步骤

请严格按照以下步骤操作，以避免出现 _C is not defined 等编译错误。

第一步：克隆仓库

git clone https://github.com/IDEA-Research/GroundingDINO.git
cd GroundingDINO

第二步：安装依赖

建议使用国内镜像源加速 PyTorch 和相关库的安装（如清华源或阿里源）。

# 创建虚拟环境 (可选但推荐)
conda create -n groundingdino python=3.8 -y
conda activate groundingdino

# 安装 PyTorch (请根据实际 CUDA 版本选择，此处以 cu118 为例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装其他依赖
pip install -r requirements.txt

第三步：安装 Grounding DINO 本体

这一步会编译模型所需的自定义 CUDA 算子，请确保 CUDA_HOME 已正确设置。

pip install -e .

注意：如果安装过程中报错提示找不到 _C 模块，通常是因为 CUDA 环境未识别或编译失败。请检查 echo $CUDA_HOME 是否有输出，并尝试清理构建缓存后重新运行 pip install -e .。

第四步：下载预训练权重

从 Hugging Face 下载预训练模型文件（例如 groundingdino_swint_ogc.pth），并将其放置在项目根目录或指定文件夹中。

# 示例：使用 wget 下载 (也可手动下载后上传至服务器)
wget https://huggingface.co/ShilongLiu/GroundingDINO/resolve/main/groundingdino_swint_ogc.pth

3. 基本使用

以下是一个最简单的 Python 推理示例，展示如何加载模型并根据文本提示检测物体。

import torch
from groundingdino.util.inference import load_model, load_image, predict, annotate
from groundingdino.util import box_ops

# 1. 配置参数
MODEL_CONFIG_PATH = "GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py"
MODEL_CHECKPOINT_PATH = "./groundingdino_swint_ogc.pth"
IMAGE_PATH = "./assets/demo1.jpg"  # 替换为你的图片路径
TEXT_PROMPT = "dog . cat ."       # 提示词，不同类别建议用 "." 分隔
BOX_THRESHOLD = 0.35
TEXT_THRESHOLD = 0.25

# 2. 加载模型 (自动使用 CUDA 如果可用)
model = load_model(MODEL_CONFIG_PATH, MODEL_CHECKPOINT_PATH)

# 3. 加载图像
image_source, image = load_image(IMAGE_PATH)

# 4. 执行预测
boxes, logits, phrases = predict(
    model=model,
    image=image,
    caption=TEXT_PROMPT,
    box_threshold=BOX_THRESHOLD,
    text_threshold=TEXT_THRESHOLD
)

# 5. 标注结果
annotated_frame = annotate(image_source=image_source, boxes=boxes, logits=logits, phrases=phrases)

# 6. 保存或显示结果
import cv2
cv2.imwrite("annotated_output.jpg", annotated_frame)
print(f"检测到物体：{phrases}")
print(f"置信度分数：{logits}")

使用提示

• 输入格式: 模型接受 (图像，文本) 对。
• 提示词技巧: 如果需要检测多个类别，建议使用 . 分隔，例如 "person . car . tree ."。
• 阈值调整:
  • box_threshold: 过滤检测框的最低置信度。
  • text_threshold: 过滤文本匹配度的最低阈值。
  • 若检测结果过多或过少，可适当调整这两个参数。
• 特定短语检测: 如果句子是 "two dogs with a stick"，而您只想检测 "dogs"，模型会计算每个词元的相似度，您可以选取与 "dogs" 相似度最高的框作为最终输出。