这是由 Zuwei Long 和 Wei Li 发表的论文 Grounding DINO: 将 DINO 与接地预训练结合用于开放集目标检测 的第三方实现。

您可以使用此代码在自己的数据集上微调模型，或从头开始进行预训练。

• 支持的功能
• 设置
• 数据集
• 配置
• 训练
• 结果与模型
• 推理
• 致谢
• 引用
• 联系方式

支持的功能

设置

我们使用以下版本进行模型测试：Python 3.7.11、PyTorch 1.11.0 和 CUDA 11.3。其他版本也可能适用。

1. 克隆本仓库。

git clone https://github.com/longzw1997/Open-GroundingDino.git && cd Open-GroundingDino/

2. 安装所需的依赖项。

pip install -r requirements.txt 
cd models/GroundingDINO/ops
python setup.py build install
python test.py
cd ../../..

3. 下载 预训练模型 和 BERT 权重，然后修改训练/测试脚本中的相应路径。

数据集

对于 训练，我们使用 odvg 数据格式，以支持 OD 数据和 VG 数据。
在开始模型训练之前，您需要将数据集转换为 odvg 格式，详情请参阅 data_format.md | datasets_mixed_odvg.json | coco2odvg.py | grit2odvg。

对于 测试，我们使用 coco 格式，目前仅支持 OD 数据集。

{
  "train": [
    {
      "root": "path/V3Det/",
      "anno": "path/V3Det/annotations/v3det_2023_v1_all_odvg.jsonl",
      "label_map": "path/V3Det/annotations/v3det_label_map.json",
      "dataset_mode": "odvg"
    },
    {
      "root": "path/LVIS/train2017/",
      "anno": "path/LVIS/annotations/lvis_v1_train_odvg.jsonl",
      "label_map": "path/LVIS/annotations/lvis_v1_train_label_map.json",
      "dataset_mode": "odvg"
    },
    {
      "root": "path/Objects365/train/",
      "anno": "path/Objects365/objects365_train_odvg.json",
      "label_map": "path/Objects365/objects365_label_map.json",
      "dataset_mode": "odvg"
    },
    {
      "root": "path/coco_2017/train2017/",
      "anno": "path/coco_2017/annotations/coco2017_train_odvg.jsonl",
      "label_map": "path/coco_2017/annotations/coco2017_label_map.json",
      "dataset_mode": "odvg"
    },
    {
      "root": "path/GRIT-20M/data/",
      "anno": "path/GRIT-20M/anno/grit_odvg_620k.jsonl",
      "dataset_mode": "odvg"
    }, 
    {
      "root": "path/flickr30k/images/flickr30k_images/",
      "anno": "path/flickr30k/annotations/flickr30k_entities_odvg_158k.jsonl",
      "dataset_mode": "odvg"
    }
  ],
  "val": [
    {
      "root": "path/coco_2017/val2017",
      "anno": "config/instances_val2017.json",
      "label_map": null,
      "dataset_mode": "coco"
    }
  ]
}

# 对于 OD
{"filename": "000000391895.jpg", "height": 360, "width": 640, "detection": {"instances": [{"bbox": [359.17, 146.17, 471.62, 359.74], "label": 3, "category": "摩托车"}, {"bbox": [339.88, 22.16, 493.76, 322.89], "label": 0, "category": "人"}, {"bbox": [471.64, 172.82, 507.56, 220.92], "label": 0, "category": "人"}, {"bbox": [486.01, 183.31, 516.64, 218.29], "label": 1, "category": "自行车"}]}}
{"filename": "000000522418.jpg", "height": 480, "width": 640, "detection": {"instances": [{"bbox": [382.48, 0.0, 639.28, 474.31], "label": 0, "category": "人"}, {"bbox": [234.06, 406.61, 454.0, 449.28], "label": 43, "category": "刀"}, {"bbox": [0.0, 316.04, 406.65, 473.53], "label": 55, "category": "蛋糕"}, {"bbox": [305.45, 172.05, 362.81, 249.35], "label": 71, "category": "水槽"}]}}

# 对于 VG
{"filename": "014127544.jpg", "height": 400, "width": 600, "grounding": {"caption": "自制生有机奶油芝士，价格不到商店购买的一半！制作起来超级简单，只需要两种原料！", "regions": [{"bbox": [5.98, 2.91, 599.5, 396.55], "phrase": "自制生有机奶油芝士"}]}}
{"filename": "012378809.jpg", "height": 252, "width": 450, "grounding": {"caption": "天真：笔记本背景中的心形图案", "regions": [{"bbox": [93.8, 47.59, 126.19, 77.01], "phrase": "心形图案"}, {"bbox": [2.49, 1.44, 448.74, 251.1], "phrase": "笔记本背景"}]}}

配置

config/cfg_odvg.py                   # 用于骨干网络、批量大小、学习率、冻结层等
config/datasets_mixed_odvg.json      # 支持 OD 和 VG 的混合数据集

训练

• 数据集： 在开始训练之前，您需要根据 data_format.md 修改 config/datasets_mixed_example.json。
• 配置： 默认使用 coco_val2017 进行评估。
  • 如果您使用自己的测试集进行评估，则需要将测试数据转换为 coco 格式（而非 ovdg 格式），并修改配置以设置 use_coco_eval = False（COCO 数据集有 80 个类别用于训练，但总共有 90 个类别，因此代码中内置了映射）。
  • 此外，还需在配置中添加（或更新）label_list，写入您自己的类别名称，例如 label_list=['狗', '猫', '人']。

- use_coco_eval = True
+ use_coco_eval = False
+ label_list=['狗', '猫', '人']

• 训练/评估：

# 使用 torch.distributed.launch 进行训练/评估：
bash train_dist.sh  ${GPU_NUM} ${CFG} ${DATASETS} ${OUTPUT_DIR}
bash test_dist.sh  ${GPU_NUM} ${CFG} ${DATASETS} ${OUTPUT_DIR}

# 使用 slurm 集群进行训练/评估：
bash train_slurm.sh  ${PARTITION} ${GPU_NUM} ${CFG} ${DATASETS} ${OUTPUT_DIR}
bash test_slurm.sh  ${PARTITION} ${GPU_NUM} ${CFG} ${DATASETS} ${OUTPUT_DIR}
# 例如，可查看 train_slurm.sh 以获取更多细节
# bash train_slurm.sh v100_32g 32 config/cfg_odvg.py config/datasets_mixed_odvg.json ./logs

# bash train_slurm.sh v100_32g 8 config/cfg_coco.py config/datasets_od_example.json ./logs

结果与模型

• GRIT-200K由GLIP和spaCy生成。

推理

由于模型架构未发生变化，您只需安装GroundingDINO库，然后运行inference_on_a_image.py即可对您的图像进行推理。

python tools/inference_on_a_image.py \
  -c tools/GroundingDINO_SwinT_OGC.py \
  -p path/to/your/ckpt.pth \
  -i ./figs/dog.jpeg \
  -t "dog" \
  -o output

提示词	官方检查点	COCO检查点	180万检查点
狗
猫

致谢

提供的代码改编自：

• microsoft/GLIP
• IDEA-Research/DINO
• IDEA-Research/GroundingDINO

引用

@misc{Open Grounding Dino,
  author = {Zuwei Long, Wei Li},
  title = {Open Grounding Dino：论文Grounding DINO的第三方实现},
  howpublished = {\url{https://github.com/longzw1997/Open-GroundingDino}},
  year = {2023}
}

联系方式

• longzuwei at sensetime.com
• liwei1 at sensetime.com

如果您有任何建议或问题，欢迎随时联系我们。我们也欢迎您报告发现的漏洞。如果您发现了任何错误或希望贡献代码，请创建一个拉取请求。

Open-GroundingDino 快速上手指南

Open-GroundingDino 是论文《Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection》的第三方实现版本。该版本支持在自定义数据集上进行微调（Fine-tune）或从头开始预训练，并提供了多机训练加速策略。

环境准备

本项目测试环境如下，建议使用相同或兼容版本以确保稳定性：

• Python: 3.7.11
• PyTorch: 1.11.0
• CUDA: 11.3

前置依赖：

• Git
• pip
• CUDA 开发工具包（需与 PyTorch 版本匹配）

提示：国内用户安装 Python 依赖时，建议指定清华或阿里镜像源以加速下载： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆代码库

git clone https://github.com/longzw1997/Open-GroundingDino.git && cd Open-GroundingDino/

2. 安装依赖与编译算子

首先安装 Python 依赖，然后编译并安装 GroundingDINO 所需的自定义 CUDA 算子。

# 安装基础依赖
pip install -r requirements.txt 

# 编译并安装自定义算子
cd models/GroundingDINO/ops
python setup.py build install
python test.py
cd ../../..

3. 下载预训练权重

你需要下载以下两个权重文件，并在后续的訓練/测试脚本中修改对应的路径：

1. GroundingDINO 预训练模型: 下载地址
2. BERT 权重: 下载地址 (国内访问困难可使用 HuggingFace 镜像或手动下载后放置本地)

基本使用

场景一：快速推理 (Inference)

由于模型架构未变，你可以直接使用官方 GroundingDINO 库进行推理，或运行本项目提供的脚本。

单图推理示例： 检测图片中的 "dog" 对象。

python tools/inference_on_a_image.py \
  -c tools/GroundingDINO_SwinT_OGC.py \
  -p path/to/your/ckpt.pth \
  -i ./figs/dog.jpeg \
  -t "dog" \
  -o output

参数说明：

• -c: 配置文件路径
• -p: 模型权重文件路径 (.pth)
• -i: 输入图片路径
• -t: 文本提示词 (Prompt)，支持自然语言描述
• -o: 输出目录

场景二：启动训练 (Training)

在训练前，需将数据集转换为 odvg 格式（支持目标检测 OD 和视觉定位 VG 数据），并修改配置文件。

1. 准备数据配置 编辑 config/datasets_mixed_odvg.json，填入你的数据集路径。参考项目中的 data_format.md 进行格式转换（如 COCO 转 odvg 可使用 tools/coco2odvg.py）。

2. 修改训练配置 若使用自定义测试集（非 COCO 格式），需在配置文件 (config/cfg_odvg.py) 中进行如下调整：

use_coco_eval = False
label_list=['dog', 'cat', 'person']  # 替换为你自己的类别名称

3. 执行训练命令 支持单机多卡 (torch.distributed) 和 Slurm 集群模式。

单机多卡训练示例 (使用 8 张 GPU):

bash train_dist.sh 8 config/cfg_odvg.py config/datasets_mixed_odvg.json ./logs

Slurm 集群训练示例:

bash train_slurm.sh v100_32g 32 config/cfg_odvg.py config/datasets_mixed_odvg.json ./logs

训练完成后，模型权重将保存在 ./logs 目录中。