LLMDet：在大型语言模型监督下学习强大的开放词汇目标检测器

这是 LLMDet 的官方 PyTorch 实现。

🎉🎉🎉 我们的论文已被 CVPR 2025 接收为亮点论文✨，祝贺并衷心感谢所有合作作者！

如果您觉得我们的工作有所帮助，请为我们点个赞🌟

更新

• [2026.02.03] 我们发布了首个基于 MLLM 的目标嵌入模型 ObjEmbed。
• [2025.12.16] 我们发布了一系列更先进的模型 WeDetect。
• [2025.08.06] 🔥🔥🔥 LLMDet 已合并到官方 transformers==4.55.0 中！安装最新版的 transformers 即可体验 LLMDet。
• [2025.06.06] 🔥🔥🔥 在 Hugging Face 上新增了 Gradio 演示，您现在可以直接在浏览器中试用 LLMDet。（感谢 Daniel Bourke 的宝贵贡献）
• [2025.04.07] 更新了 Hugging Face 上的演示，并发布了 Hugging Face 检查点。
• [2025.04.04] 我们的论文被选为 CVPR2025 的亮点论文。
• [2025.03.25] 更新了 mmdet 中的演示。
• [2025.02.27] 我们的论文被 CVPR2025 接受。
• [2025.01.31] 发布了代码和论文。

1 引言

近年来，开放词汇目标检测器在丰富的区域级标注数据支持下取得了令人瞩目的性能。在本工作中，我们表明，通过为每张图像生成图像级详细描述，与大型语言模型进行联合训练，可以进一步提升开放词汇目标检测器的性能。为此，我们首先收集了一个数据集 GroundingCap-1M，其中每张图像都配有相关的定位标签和一张图像级详细描述。利用该数据集，我们对开放词汇目标检测器进行了微调，训练目标包括标准的定位损失和描述生成损失。我们借助大型语言模型为每个感兴趣区域生成区域级短描述，并为整张图像生成图像级长描述。在大型语言模型的监督下，最终得到的检测器 LLMDet 显著优于基线模型，展现出更强的开放词汇能力。此外，我们还证明，改进后的 LLMDet 可以反过来构建一个更强大的多模态大模型，实现互利共赢。

2 模型库

模型	APmini	APr	APc	APf	APval	APr	APc	APf
LLMDet Swin-T only p5	44.5	38.6	39.3	50.3	34.6	25.5	29.9	43.8
LLMDet Swin-T	44.7	37.3	39.5	50.7	34.9	26.0	30.1	44.3
LLMDet Swin-B	48.3	40.8	43.1	54.3	38.5	28.2	34.3	47.8
LLMDet Swin-L	51.1	45.1	46.1	56.6	42.0	31.6	38.8	50.2
LLMDet Swin-L (chunk size 80)	52.4	44.3	48.8	57.1	43.2	32.8	40.5	50.8

注：

1. AP^mini：在 LVIS minival 数据集上评估。
2. AP^val：在 LVIS val 1.0 数据集上评估。
3. AP 均为固定 AP。
4. 所有检查点和日志均可在 Hugging Face 和 ModelScope 上找到。
5. 其他基准测试均使用 LLMDet Swin-T only p5 进行。

3 我们的实验环境

注意：其他环境也可能适用。

• pytorch==2.2.1+cu121
• transformers==4.37.2
• numpy==1.22.2（numpy 应低于 1.24，建议使用 1.23 或 1.22 版本）
• mmcv==2.2.0, mmengine==0.10.5
• timm, deepspeed, pycocotools, lvis, jsonlines, fairscale, nltk, peft, wandb

4 数据准备（GroundingCap-1M）

｜--huggingface
｜  |--bert-base-uncased
｜  |--siglip-so400m-patch14-384
｜  |--my_llava-onevision-qwen2-0.5b-ov-2
｜  |--mm_grounding_dino
｜  |  |--grounding_dino_swin-t_pretrain_obj365_goldg_grit9m_v3det_20231204_095047-b448804b.pth
｜  |  |--grounding_dino_swin-b_pretrain_obj365_goldg_v3de-f83eef00.pth
｜  |  |--grounding_dino_swin-l_pretrain_obj365_goldg-34dcdc53.pth
｜--grounding_data
｜  |--coco
｜  |  |--annotations
｜  |  |  |--instances_train2017_vg_merged6.jsonl
｜  |  |  |--instances_val2017.json
｜  |  |  |--lvis_v1_minival_inserted_image_name.json
｜  |  |  |--lvis_od_val.json
｜  |  |--train2017
｜  |  |--val2017
｜  |--flickr30k_entities
｜  |  |--flickr_train_vg7.jsonl
｜  |  |--flickr30k_images
｜  |--gqa
｜  |  |--gqa_train_vg7.jsonl
｜  |  |--images
｜  |--llava_cap
｜  |  |--LLaVA-ReCap-558K_tag_box_vg7.jsonl
｜  |  |--images
｜  |--v3det
｜  |  |--annotations
｜  |  |  |--v3det_2023_v1_train_vg7.jsonl
｜  |  |--images
｜--LLMDet (code)

• 预训练模型
  • bert-base-uncased 和 siglip-so400m-patch14-384 直接从 Hugging Face 下载。
  • 为完全复现我们的结果，请从 Hugging Face 或 ModelScope 下载 my_llava-onevision-qwen2-0.5b-ov-2，该模型是我们早期探索中稍作微调的版本。我们发现原始的 llava-onevision-qwen2-0.5b-ov 同样可以复现结果，但用户需要先对投影器进行预训练。
  • 由于 LLMDet 是基于 mm_grounding_dino 微调的，请下载其检查点：swin-t、swin-b、swin-l，用于训练。
• 接地数据（GroundingCap-1M）
  • coco：可从 COCO 官方网站或 opendatalab 下载。
  • lvis：LVIS 与 COCO 使用相同的图像。您可以从 这里 下载 minival 注释文件，从 这里 下载 val 1.0 注释文件。
  • flickr30k_entities：Flickr30k 图像。
  • gqa：GQA 图像。
  • llava_cap：图像。
  • v3det：V3Det 数据集可从 opendatalab 下载。
  • 我们生成的 jsonl 文件可在 Hugging Face 或 ModelScope 中找到。
  • 对于其他评估数据集，请参考 MM-GDINO。

5 使用方法

5.1 训练

bash dist_train.sh configs/grounding_dino_swin_t.py 8 --amp

5.2 评估

bash dist_test.sh configs/grounding_dino_swin_t.py tiny.pth 8

5.3 演示

import nltk
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
nltk.download('punkt_tab')
nltk.download('averaged_perceptron_tagger_eng')
nltk.download('stopwords')

• 对于短语接地和指代性表达理解任务，用户应首先下载 nltk 包。
• 如果在推理过程中不希望加载 LLM，请将配置中的 lmm=None 进行修改。

1. 开放词汇目标检测

python image_demo.py images/demo.jpeg \
  configs/grounding_dino_swin_t.py --weight tiny.pth \
  --text 'apple .' -c --pred-score-thr 0.4

2. 短语接地

python image_demo.py images/demo.jpeg \
  configs/grounding_dino_swin_t.py --weight tiny.pth \
  --text 'There are many apples here.' --pred-score-thr 0.35

3. 指代性表达理解

python image_demo.py images/demo.jpeg \
  configs/grounding_dino_swin_t.py --weight tiny.pth \
  --text 'red apple.' --tokens-positive -1 --pred-score-thr 0.4

5.4 在 Hugging Face 中使用 LLMDet

• LLMDet 现已合并到官方 transformers==4.55.0 中。只需几行代码即可使用 LLMDet！

import torch
from transformers import AutoModelForZeroShotObjectDetection, AutoProcessor
from transformers.image_utils import load_image


# 准备处理器和模型
model_id = "iSEE-Laboratory/llmdet_tiny"
device = "cuda" if torch.cuda.is_available() else "cpu"
processor = AutoProcessor.from_pretrained(model_id)
模型 = AutoModelForZeroShotObjectDetection.from_pretrained(model_id).to(device)

# 准备输入
image_url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = load_image(image_url)
text_labels = [["a cat", "a remote control"]]
inputs = processor(images=image， text=text_labels， return_tensors="pt").to(device)

# 运行推理
with torch.no_grad():
    outputs = model(**inputs)

# 后处理输出
results = processor.post_process_grounded_object_detection(
    outputs，
    threshold=0.4，
    target_sizes=[(image.height， image.width)]
)

# 获取第一个图像结果
result = results[0]
for box， score， labels in zip(result["boxes"]， result["scores"]， result["labels"])：
    box = [round(x， 2) for x in box.tolist()]
    print(f"Detected {labels} with confidence {round(score.item()， 3)} at location {box}")

• 对于使用其他版本的用户，请参阅 hf_readme。

6 许可证

LLMDet 根据 Apache 2.0 许可证发布。更多信息请参阅 LICENSE 文件。

7 参考文献

如果您认为我们的工作对您的研究有所帮助，请考虑引用我们的论文。

@article{fu2025llmdet,
  title={LLMDet: Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models},
  author={Fu， Shenghao and Yang， Qize and Mo， Qijie and Yan， Junkai and Wei， Xihan and Meng， Jingke and Xie， Xiaohua and Zheng， Wei-Shi},
  journal={arXiv preprint arXiv:2501.18954},
  year={2025}
}

8 致谢

我们的 LLMDet 受到众多优秀开源工作的启发，其中包括：

• MM-Grounding-DINO
• LLaVA1.5
• LLaVA OneVision
• ShareGPT4V
• ASv2
• RAM

感谢上述项目作者开放其代码和资源！

LLMDet 快速上手指南

LLMDet 是一个在大语言模型（LLM）监督下学习的强开放词汇目标检测器。该项目已合并至官方 transformers 库，支持通过简单的代码调用实现强大的零样本物体检测能力。

1. 环境准备

系统要求

• Python: 推荐 Python 3.8+
• GPU: 支持 CUDA 的 NVIDIA 显卡（推荐显存 16GB+ 以运行大模型版本）
• 操作系统: Linux (Ubuntu/CentOS) 或 Windows (WSL2 推荐)

前置依赖

核心依赖如下，建议创建独立的虚拟环境：

• pytorch >= 2.2.1 (cu121)
• transformers >= 4.55.0 (已原生集成 LLMDet)
• mmcv == 2.2.0 (如需从头训练或修改配置)
• nltk (用于演示中的短语定位功能)

注意：若需复现论文结果或使用完整训练功能，需安装 mmcv, mmdetection 等相关组件；若仅使用推理，仅需 transformers 即可。

2. 安装步骤

方案 A：快速推理安装（推荐）

只需安装最新版 transformers 即可直接使用：

pip install -U transformers torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

国内用户可使用清华源加速：

pip install -U transformers torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 -i https://pypi.tuna.tsinghua.edu.cn/simple

方案 B：完整开发环境安装（含训练）

如果需要从头训练或修改模型结构，请克隆源码并安装依赖：

git clone https://github.com/iSEE-Laboratory/LLMDet.git
cd LLMDet

# 安装核心依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 nltk 数据 (用于 Demo)
python -c "import nltk; nltk.download('punkt'); nltk.download('averaged_perceptron_tagger'); nltk.download('stopwords')"

3. 基本使用

方法一：使用 Hugging Face Transformers (最简单)

无需下载额外代码，几行代码即可实现开放词汇检测。

import torch
from transformers import AutoModelForZeroShotObjectDetection, AutoProcessor
from transformers.image_utils import load_image

# 1. 加载模型和处理器
model_id = "iSEE-Laboratory/llmdet_tiny"
device = "cuda" if torch.cuda.is_available() else "cpu"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForZeroShotObjectDetection.from_pretrained(model_id).to(device)

# 2. 准备输入
image_url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = load_image(image_url)
# 支持任意文本标签，无需预定义类别
text_labels = [["a cat", "a remote control"]] 
inputs = processor(images=image, text=text_labels, return_tensors="pt").to(device)

# 3. 推理
with torch.no_grad():
    outputs = model(**inputs)

# 4. 后处理与结果输出
results = processor.post_process_grounded_object_detection(
    outputs,
    threshold=0.4,
    target_sizes=[(image.height, image.width)]
)

result = results[0]
for box, score, labels in zip(result["boxes"], result["scores"], result["labels"]):
    box = [round(x, 2) for x in box.tolist()]
    print(f"Detected {labels} with confidence {round(score.item(), 3)} at location {box}")

方法二：本地命令行 Demo

如果您克隆了源代码，可以使用提供的脚本进行更丰富的测试（如短语定位、指代理解）。

开放词汇目标检测：

python image_demo.py images/demo.jpeg \
  configs/grounding_dino_swin_t.py --weight tiny.pth \
  --text 'apple .' -c --pred-score-thr 0.4

短语定位 (Phrase Grounding)：

python image_demo.py images/demo.jpeg \
  configs/grounding_dino_swin_t.py --weight tiny.pth \
  --text 'There are many apples here.' --pred-score-thr 0.35

指代性表达式理解：

python image_demo.py images/demo.jpeg \
  configs/grounding_dino_swin_t.py --weight tiny.pth \
  --text 'red apple.' --tokens-positive -1 --pred-score-thr 0.4

提示：首次运行上述命令前，请确保已从 Hugging Face 或 ModelScope 下载对应的权重文件 (tiny.pth 等) 并放置在正确目录。