[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-IDEA-Research--Grounding-DINO-1.5-API":3,"tool-IDEA-Research--Grounding-DINO-1.5-API":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,2,"2026-04-10T11:39:34",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":32,"last_commit_at":41,"category_tags":42,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[43,13,15,14],"插件",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[52,15,13,14],"语言模型",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,61],"视频",{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":84,"forks":85,"last_commit_at":86,"license":87,"difficulty_score":32,"env_os":88,"env_gpu":88,"env_ram":88,"env_deps":89,"category_tags":92,"github_topics":93,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":101,"updated_at":102,"faqs":103,"releases":104},7657,"IDEA-Research\u002FGrounding-DINO-1.5-API","Grounding-DINO-1.5-API","Grounding DINO 1.5: IDEA Research's Most Capable Open-World Object Detection Model Series","Grounding-DINO-1.5-API 是由 IDEA Research 推出的先进开源物体检测模型系列，旨在突破传统检测技术的边界，实现强大的“开放世界”感知能力。它核心解决了传统模型只能识别预定义类别的局限，允许用户通过自然语言文本描述来检测图像中任意未知的物体，真正做到了“指哪打哪”。\n\n该工具包含两个版本：Grounding DINO 1.5 Pro 专注于极致的检测精度与泛化能力，适用于复杂多变的场景；而 Grounding DINO 1.5 Edge 则针对边缘计算设备优化，兼顾效率与性能。其独特亮点在于卓越的零样本（Zero-Shot）迁移能力，无需额外训练即可在动物检测、文字识别等特定场景中表现优异，甚至能作为强大的少样本学习器快速适应新任务。\n\nGrounding-DINO-1.5-API 非常适合计算机视觉研究人员、AI 开发者以及需要构建灵活图像分析应用的产品团队使用。无论是进行学术探索、开发智能监控方案，还是为设计工具添加自动化标注功能，它都能提供可靠的技术支持。项目提供了便捷的 API 调用方式和在线演示平台，帮助用户快速上手体验前沿的视觉定位技术。","\u003Ch1 align=\"center\">Grounding DINO 1.5\u003C\u002Fh2>\n\n\u003Cdiv align=center>\n\n  **IDEA Research's Most Capable Open-World Object Detection Model Series.** \n\n  The project provides **examples** for using the models, which are hosted on [DeepDataSpace](https:\u002F\u002Fdeepdataspace.com\u002Fhome).\n\n  **[IDEA-CVR, IDEA-Research](https:\u002F\u002Fgithub.com\u002FIDEA-Research)** \n\n\u003C\u002Fdiv>\n\n\u003Cdiv align=center>\n\n[![arXiv preprint](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv_2405.10300-blue%3Flog%3Darxiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2405.10300)   [![Homepage](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fhomepage-visit-blue)](https:\u002F\u002Fdeepdataspace.com\u002Fhome) [![Hits](https:\u002F\u002Fhits.seeyoufarm.com\u002Fapi\u002Fcount\u002Fincr\u002Fbadge.svg?url=https%3A%2F%2Fgithub.com%2FIDEA-Research%2FGrounding-DINO-1.5-API&count_bg=%2390E1ED&title_bg=%23EB7373&icon=&icon_color=%23E9BABA&title=VISITORS&edge_flat=true)](https:\u002F\u002Fhits.seeyoufarm.com) [![Static Badge](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FTry_Demo!-blue?logo=chainguard&logoColor=green)](https:\u002F\u002Fdeepdataspace.com\u002Fplayground\u002Fgrounding_dino)\n\u003C\u002Fdiv>\n\n✨ **First-Time Application**: If you are interested in our project and wish to try our algorithm, you will need to apply for the corresponding API Token through our [request API token website](https:\u002F\u002Fcloud.deepdataspace.com\u002Fapply-token?from=github) for your first attempt.\n\n📌 **Request Additional Token Quotas**: At this stage, we now support **WeChat Pay** as a payment channel. Users can purchase additional API calls through our [official platform](https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage). If you encounter any issues during the purchase process or have other collaboration needs, feel free to contact us via this email address: **deepdataspace_dm@idea.edu.cn**.\n\n🔥 **Grounding DINO 1.6 Release**: Grounding DINO 1.6 Pro establishes new SOTA results on zero-shot transfer benchmarks: **55.4 AP** on COCO , **57.7 AP** on LVIS-minival, and **51.1 AP** on LVIS-val. Moreover, it demonstrates significantly superior performance compared with the 1.5 Pro model in several specific detection scenarios, such as **Animal Detection**, **Text Detection**, etc. Please refer to our [Official Blog](https:\u002F\u002Fwww.deepdataspace.com\u002Fblog\u002FGrounding-DINO-1.6-Pro) for more details about the 1.6 release.\n\n\u003C!-- [![Video Name](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_a8818ba334e2.png)](https:\u002F\u002Fgithub.com\u002FMountchicken\u002FMMOCR_tutorials\u002Fassets\u002F65173622\u002F1adb50af-8ebf-4e9c-aa45-b96267ea6622) -->\n\n[![Video Name](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_a8818ba334e2.png)](https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fd19d8698-9f2c-41f8-9803-110b3cab23cf)\n\n## Contents\n- [Contents](#contents)\n- [Introduction](#introduction)\n- [Model Framework](#model-framework)\n- [Performance](#performance)\n  - [Side-by-Side Performance Comparison with Grounding DINO](#side-by-side-performance-comparison-with-grounding-dino)\n  - [Zero-Shot Transfer Results of Grounding DINO 1.5 & 1.6 Pro](#zero-shot-transfer-results-of-grounding-dino-15--16-pro)\n  - [Few-Shot Transfer Results of Grounding DINO 1.5 Pro](#grounding-dino-15-as-a-strong-few-shot-learner)\n  - [Fine-tuning Results on Downstream Datasets](#fine-tuning-results-on-downstream-datasets)\n- [API Usage](#api-usage)\n  - [1. Installation](#1-installation)\n  - [2. Request API from DeepDataSpace](#2-request-api-from-deepdataspace)\n  - [3. Runing demo code](#3-runing-demo-code)\n  - [4. Online Grdio demo](#4-online-grdio-demo)\n- [Case Analysis and Qualitative Visualization](#case-analysis-and-qualitative-visualization)\n- [Related Work](#related-work)\n- [LICENSE](#license)\n- [BibTeX](#bibtex)\n\n## Introduction\n\nWe introduce Grounding DINO 1.5, a suite of advanced open-set object detection models developed by [IDEA Research](https:\u002F\u002Fgithub.com\u002FIDEA-Research), which aims to advanced the \"Edge\" of open-set object detection. The suite encompasses two models:\n\n- **Grounding DINO 1.5 Pro:** Our most **capable** model for open-set object detection, which is designed for stronger generalization capability across a wide range of scenarios.\n\n- **Grounding DINO 1.5 Edge:** Our most **efficient** model for edge computing scenarios, which is optimized for faster speed demanded in many applications requiring edge deployment.\n\n\u003Cp align=\"left\">\u003Cem>Note: We use \"edge\" for its dual meaning both as in \u003Cb>pushing the boundaries\u003C\u002Fb> and as in \u003Cb>running on edge devices\u003C\u002Fb>.\u003C\u002Fem>\u003C\u002Fp>\n\n\n## Model Framework\n\nThe overall framework of Grounding DINO 1.5 is as the following image:\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_7746b27cb635.png\" width=\"80%\">\n\u003C\u002Fdiv>\n\nGrounding DINO 1.5 Pro preserves the core architecture of Grounding DINO which employs a deep early fusion architecture.\n\n## Performance\n\n### Side-by-Side Performance Comparison with Grounding DINO\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_1f5192193a50.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> Grounding DINO 1.5 Pro vs Grounding DINO \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_611975935d6b.png\" width=\"80%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n### Zero-Shot Transfer Results of Grounding DINO 1.5 & 1.6 Pro\n\n\u003Ctable align=\"center\">\n\u003Cthead>\n  \u003Ctr>\n    \u003Cth>Model\u003C\u002Fth>\n    \u003Cth>COCO \u003Cbr>\u003Csup>\u003Csup>(AP box)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-minival \u003Cbr>\u003Csup>\u003Csup>(AP all)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-minival \u003Cbr>\u003Csup>\u003Csup>(AP rare)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-val \u003Cbr>\u003Csup>\u003Csup>(AP all)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-val \u003Cbr>\u003Csup>\u003Csup>(AP rare)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>ODinW35 \u003Cbr>\u003Csup>\u003Csup>(AP avg)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>ODinW13 \u003Cbr>\u003Csup>\u003Csup>(AP avg)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n  \u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody align=\"center\">\n  \u003Ctr>\n    \u003Ctd>Other Best\u003Cbr>Open-Set Model\u003C\u002Ftd>\n    \u003Ctd>53.4\u003Cbr>\u003Csup>\u003Csup>(OmDet-Turbo)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>47.6\u003Cbr>\u003Csup>\u003Csup>(T-Rex2 visual)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>45.4\u003Cbr>\u003Csup>\u003Csup>(T-Rex2 visual)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>45.3\u003Cbr>\u003Csup>\u003Csup>(T-Rex2 visual)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>43.8\u003Cbr>\u003Csup>\u003Csup>(T-Rex2 visual)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>30.1\u003Cbr>\u003Csup>\u003Csup>(OmDet-Turbo)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>59.8\u003C\u002Fb>\u003Cbr>\u003Csup>\u003Csup>(APE-B)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>DetCLIPv3\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd>48.8\u003C\u002Ftd>\n    \u003Ctd>49.9\u003C\u002Ftd>\n    \u003Ctd>41.4\u003C\u002Ftd>\n    \u003Ctd>41.4\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Grounding DINO\u003C\u002Ftd>\n    \u003Ctd>52.5\u003C\u002Ftd>\n    \u003Ctd>27.4\u003C\u002Ftd>\n    \u003Ctd>18.1\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> 26.1 \u003C\u002Ftd>\n    \u003Ctd> 56.9 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>T-Rex2 (text)\u003C\u002Ftd>\n    \u003Ctd>52.2\u003C\u002Ftd>\n    \u003Ctd>54.9\u003C\u002Ftd>\n    \u003Ctd>49.2\u003C\u002Ftd>\n    \u003Ctd> 45.8 \u003C\u002Ftd>\n    \u003Ctd> 42.7 \u003C\u002Ftd>\n    \u003Ctd> 22.0 \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Grounding DINO 1.5 Pro\u003C\u002Ftd>\n    \u003Ctd>54.3\u003C\u002Ftd>\n    \u003Ctd>55.7\u003C\u002Ftd>\n    \u003Ctd>56.1\u003C\u002Ftd>\n    \u003Ctd>47.6\u003C\u002Ftd>\n    \u003Ctd>44.6\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>30.2\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>58.7\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>\u003Cb>Grounding DINO 1.6 Pro\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>55.4\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>57.7\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>57.5\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>51.1\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>51.5\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n- Grounding DINO 1.5 Pro achieves **SOTA** performance on COCO, LVIS-minival, LVIS-val, and ODinW35 **zero-shot** transfer benchmarks.\n- Grounding DINO 1.6 Pro has significantly improved the model's performance on the COCO, LVIS zero-shot transfer benchmarks, particularly in the LVIS-rare classes.\n\n### Grounding DINO 1.5 as a Strong Few-Shot Learner\n\nWe validate the transferability of Grounding DINO 1.5 Pro on ODinW few-shot benchmarks and Grounding DINO 1.5 Pro has achieved new **SOTA** results on the ODinW few-shot setting.\n\n\u003Ctable align=\"center\">\n\u003Cthead>\n  \u003Ctr>\n    \u003Cth>Model\u003C\u002Fth>\n    \u003Cth>Tune\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>1-Shot\u003C\u002Fth>\n    \u003Cth>3-Shot\u003C\u002Fth>\n    \u003Cth>5-Shot\u003C\u002Fth>\n    \u003Cth>10-Shot\u003C\u002Fth>\n    \u003Cth>All\u003C\u002Fth>\n  \u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody align=\"center\">\n  \u003Ctr>\n    \u003Ctd>DyHead (COCO)\u003C\u002Ftd>\n    \u003Ctd> Full \u003C\u002Ftd>\n    \u003Ctd>31.9 ± 1.3\u003C\u002Ftd>\n    \u003Ctd>44.2 ± 0.3\u003C\u002Ftd>\n    \u003Ctd>44.7 ± 1.7\u003C\u002Ftd>\n    \u003Ctd>50.1 ± 1.6\u003C\u002Ftd>\n    \u003Ctd> 63.2 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>DyHead (O365)\u003C\u002Ftd>\n    \u003Ctd> Full \u003C\u002Ftd>\n    \u003Ctd>33.8 ± 3.5\u003C\u002Ftd>\n    \u003Ctd>43.6 ± 1.0\u003C\u002Ftd>\n    \u003Ctd>46.4 ± 1.1\u003C\u002Ftd>\n    \u003Ctd>50.8 ± 1.3\u003C\u002Ftd>\n    \u003Ctd> 60.8 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>GLIP-L\u003C\u002Ftd>\n    \u003Ctd> Full \u003C\u002Ftd>\n    \u003Ctd>59.9 ± 1.4\u003C\u002Ftd>\n    \u003Ctd>62.1 ± 0.7\u003C\u002Ftd>\n    \u003Ctd>64.2 ± 0.3\u003C\u002Ftd>\n    \u003Ctd>64.9 ± 0.7\u003C\u002Ftd>\n    \u003Ctd> 68.9 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>GLIPv2-H\u003C\u002Ftd>\n    \u003Ctd> Full \u003C\u002Ftd>\n    \u003Ctd>61.7 ± 0.5\u003C\u002Ftd>\n    \u003Ctd>64.1 ± 0.8\u003C\u002Ftd>\n    \u003Ctd>64.4 ± 0.6\u003C\u002Ftd>\n    \u003Ctd>65.9 ± 0.3\u003C\u002Ftd>\n    \u003Ctd> 70.4 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>GLEE-Pro\u003C\u002Ftd>\n    \u003Ctd> Full \u003C\u002Ftd>\n    \u003Ctd>59.4 ± 1.5\u003C\u002Ftd>\n    \u003Ctd>61.7 ± 0.5\u003C\u002Ftd>\n    \u003Ctd>64.3 ± 1.3\u003C\u002Ftd>\n    \u003Ctd>65.6 ± 0.4\u003C\u002Ftd>\n    \u003Ctd> 69.0 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>MQ-GLIP-L\u003C\u002Ftd>\n    \u003Ctd>Full\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>62.4\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>64.2\u003C\u002Ftd>\n    \u003Ctd>65.4\u003C\u002Ftd>\n    \u003Ctd>66.6\u003C\u002Ftd>\n    \u003Ctd>71.3\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Grounding DINO 1.5 Pro\u003C\u002Ftd>\n    \u003Ctd>Full\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>62.4\u003C\u002Fb> ± 1.1\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>66.3\u003C\u002Fb> ± 1.0\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>66.9\u003C\u002Fb> ± 0.2\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>67.9\u003C\u002Fb> ± 0.3\u003C\u002Ftd>\n    \u003Ctd> \u003Cb>72.4\u003C\u002Fb> \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n- \"Full\" means fine-tuning the full model.\n- Follow GLIP, for each few-shot setting, we train the models three times using different random seeds for train\u002Fvalidation splits.\n\n### Fine-tuning Results on Downstream Datasets\n\n\u003Ctable align=\"center\">\n\u003Cthead>\n  \u003Ctr>\n    \u003Cth>Model\u003C\u002Fth>\n    \u003Cth>LVIS-minival \u003Cbr>\u003Csup>\u003Csup>(AP all)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-minival \u003Cbr>\u003Csup>\u003Csup>(AP rare)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-val \u003Cbr>\u003Csup>\u003Csup>(AP all)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-val \u003Cbr>\u003Csup>\u003Csup>(AP rare)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>ODinW35 \u003Cbr>\u003Csup>\u003Csup>(AP avg)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>ODinW13 \u003Cbr>\u003Csup>\u003Csup>(AP avg)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n  \u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody align=\"center\">\n  \u003Ctr>\n    \u003Ctd>GLIP\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> 68.9 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>GLEE-Pro\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> 69.0 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>GLIPv2\u003C\u002Ftd>\n    \u003Ctd>59.8\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> 70.4 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>OWL-ST + FT †\u003C\u002Ftd>\n    \u003Ctd>54.4\u003C\u002Ftd>\n    \u003Ctd>46.1\u003C\u002Ftd>\n    \u003Ctd>49.4\u003C\u002Ftd>\n    \u003Ctd>44.6\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>DetCLIPv2\u003C\u002Ftd>\n    \u003Ctd>58.3\u003C\u002Ftd>\n    \u003Ctd>60.1\u003C\u002Ftd>\n    \u003Ctd>53.1\u003C\u002Ftd>\n    \u003Ctd> 49.0 \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> 70.4 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>DetCLIPv3\u003C\u002Ftd>\n    \u003Ctd> 60.5 \u003C\u002Ftd>\n    \u003Ctd> 60.7 \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd> 72.1 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>DetCLIPv3 †\u003C\u002Ftd>\n    \u003Ctd>60.8\u003C\u002Ftd>\n    \u003Ctd>56.7\u003C\u002Ftd>\n    \u003Ctd>54.1\u003C\u002Ftd>\n    \u003Ctd>45.8\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Grounding DINO 1.5 Pro (zero-shot)\u003C\u002Ftd>\n    \u003Ctd>55.7\u003C\u002Ftd>\n    \u003Ctd>56.1\u003C\u002Ftd>\n    \u003Ctd>47.6\u003C\u002Ftd>\n    \u003Ctd>44.6\u003C\u002Ftd>\n    \u003Ctd>30.2\u003C\u002Ftd>\n    \u003Ctd>58.7\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>\u003Cb>Grounding DINO 1.5 Pro\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>68.1\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>68.7\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>63.5\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>64.0\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>70.6\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>72.4\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n- † indicates results of fine-tuning with LVIS base categories only.\n\n## API Usage\n### 1. Installation\n\n```bash\npip install -v -e .\n```\n\n### 2. Request API from DeepDataSpace\n\nRefer to the DeepDataSpace for API keys: https:\u002F\u002Fdeepdataspace.com\u002Frequest_api\n\n\n### 3. Runing demo code\n\n```bash\npython demo\u002Fdemo.py --token \u003CAPI_TOKEN>\n```\n\n### 4. Online Grdio demo\n```bash\npython gradio_app.py --token \u003CAPI_TOKEN>\n```\n\n## Case Analysis and Qualitative Visualization\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> Common Object Detection \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_1392ad14b999.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_089b42720777.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> Long-tailed Object Detection \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_dc5bc14547b6.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> Short Caption Grounding \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_737e926aec39.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> Long Caption Grounding \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_0021e1eb1b25.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_546db643a9cc.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_34ec7b0f3885.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> Dense Object Detection \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_e39503efb986.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_ea73f7cad284.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> Video Object Detection \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_527899f83b55.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> Advanced Object Detection on Edge Devices \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_3e2e625aed8e.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n## Related Work\n- [Grounding DINO](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGroundingDINO): Strong open-set object detection model.\n- [Grounded-Segment-Anything](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGrounded-Segment-Anything): Open-set detection and segmentation model by combining Grounding DINO with SAM.\n- [T-Rex\u002FT-Rex2](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002Ft-rex): Generic open-set detection model supporting both text and visual prompts.\n\n## LICENSE\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> Grounding DINO 1.5 API License \u003C\u002Fb> \u003C\u002Fsummary>\n\nGrounding DINO 1.5 is released under the Apache 2.0 license. Please see the [LICENSE](.\u002FLICENSE) file for more information.\n\nCopyright (c) IDEA. All rights reserved.\n\nLicensed under the Apache License, Version 2.0 (the \"License\"); you may not use these files except in compliance with the License. You may obtain a copy of the License at http:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0\n\nUnless required by applicable law or agreed to in writing, software distributed under the License is distributed on an \"AS IS\" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License.\n\n\u003C\u002Fdetails>\n\n## BibTeX\n\nIf you find our work helpful for your research, please consider citing the following BibTeX entry.\n\n```BibTeX\n@misc{ren2024grounding,\n      title={Grounding DINO 1.5: Advance the \"Edge\" of Open-Set Object Detection}, \n      author={Tianhe Ren and Qing Jiang and Shilong Liu and Zhaoyang Zeng and Wenlong Liu and Han Gao and Hongjie Huang and Zhengyu Ma and Xiaoke Jiang and Yihao Chen and Yuda Xiong and Hao Zhang and Feng Li and Peijun Tang and Kent Yu and Lei Zhang},\n      year={2024},\n      eprint={2405.10300},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV}\n}\n```\n\n```BibTeX\n@misc{jiang2024trex2,\n      title={T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy}, \n      author={Qing Jiang and Feng Li and Zhaoyang Zeng and Tianhe Ren and Shilong Liu and Lei Zhang},\n      year={2024},\n      eprint={2403.14610},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV}\n}\n```\n\n```BibTeX\n@article{liu2023grounding,\n  title={Grounding dino: Marrying dino with grounded pre-training for open-set object detection},\n  author={Liu, Shilong and Zeng, Zhaoyang and Ren, Tianhe and Li, Feng and Zhang, Hao and Yang, Jie and Li, Chunyuan and Yang, Jianwei and Su, Hang and Zhu, Jun and others},\n  journal={arXiv preprint arXiv:2303.05499},\n  year={2023}\n}\n```\n","\u003Ch1 align=\"center\">Grounding DINO 1.5\u003C\u002Fh2>\n\n\u003Cdiv align=center>\n\n  **IDEA Research 最强大的开放世界目标检测模型系列。** \n\n  本项目提供了使用这些模型的**示例**，相关模型托管在 [DeepDataSpace](https:\u002F\u002Fdeepdataspace.com\u002Fhome) 上。\n\n  **[IDEA-CVR, IDEA-Research](https:\u002F\u002Fgithub.com\u002FIDEA-Research)** \n\n\u003C\u002Fdiv>\n\n\u003Cdiv align=center>\n\n[![arXiv预印本](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv_2405.10300-blue%3Flog%3Darxiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2405.10300)   [![主页](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fhomepage-visit-blue)](https:\u002F\u002Fdeepdataspace.com\u002Fhome) [![访问量](https:\u002F\u002Fhits.seeyoufarm.com\u002Fapi\u002Fcount\u002Fincr\u002Fbadge.svg?url=https%3A%2F%2Fgithub.com%2FIDEA-Research%2FGrounding-DINO-1.5-API&count_bg=%2390E1ED&title_bg=%23EB7373&icon=&icon_color=%23E9BABA&title=VISITORS&edge_flat=true)](https:\u002F\u002Fhits.seeyoufarm.com) [![静态徽章](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FTry_Demo!-blue?logo=chainguard&logoColor=green)](https:\u002F\u002Fdeepdataspace.com\u002Fplayground\u002Fgrounding_dino)\n\u003C\u002Fdiv>\n\n✨ **首次使用**: 如果您对我们的项目感兴趣并希望尝试我们的算法，首次使用时需要通过我们的[申请API Token网站](https:\u002F\u002Fcloud.deepdataspace.com\u002Fapply-token?from=github)申请相应的API Token。\n\n📌 **申请额外Token额度**: 目前我们已支持**微信支付**作为付款渠道。用户可通过我们的[官方平台](https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage)购买额外的API调用次数。如在购买过程中遇到任何问题或有其他合作需求，请随时通过以下邮箱联系我们：**deepdataspace_dm@idea.edu.cn**。\n\n🔥 **Grounding DINO 1.6发布**: Grounding DINO 1.6 Pro 在零样本迁移基准上取得了新的SOTA结果：COCO 数据集上为 **55.4 AP**，LVIS-minival 数据集上为 **57.7 AP**，LVIS-val 数据集上则为 **51.1 AP**。此外，在一些特定的检测场景中，例如**动物检测**、**文本检测**等，其性能显著优于1.5 Pro模型。更多关于1.6版本的详细信息，请参阅我们的[官方博客](https:\u002F\u002Fwww.deepdataspace.com\u002Fblog\u002FGrounding-DINO-1.6-Pro)。\n\n\u003C!-- [![视频名称](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_a8818ba334e2.png)](https:\u002F\u002Fgithub.com\u002FMountchicken\u002FMMOCR_tutorials\u002Fassets\u002F65173622\u002F1adb50af-8ebf-4e9c-aa45-b96267ea6622) -->\n\n[![视频名称](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_a8818ba334e2.png)](https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002Fd19d8698-9f2c-41f8-9803-110b3cab23cf)\n\n## 目录\n- [目录](#contents)\n- [简介](#introduction)\n- [模型框架](#model-framework)\n- [性能](#performance)\n  - [与Grounding DINO的并排性能对比](#side-by-side-performance-comparison-with-grounding-dino)\n  - [Grounding DINO 1.5 & 1.6 Pro 的零样本迁移结果](#zero-shot-transfer-results-of-grounding-dino-15--16-pro)\n  - [Grounding DINO 1.5 Pro 的少样本迁移结果](#grounding-dino-15-as-a-strong-few-shot-learner)\n  - [下游数据集上的微调结果](#fine-tuning-results-on-downstream-datasets)\n- [API使用](#api-usage)\n  - [1. 安装](#1-installation)\n  - [2. 从DeepDataSpace申请API](#2-request-api-from-deepdataspace)\n  - [3. 运行示例代码](#3-runing-demo-code)\n  - [4. 在线Gradio演示](#4-online-grdio-demo)\n- [案例分析与定性可视化](#case-analysis-and-qualitative-visualization)\n- [相关工作](#related-work)\n- [LICENSE](#license)\n- [BibTeX](#bibtex)\n\n## 简介\n\n我们在此介绍由 [IDEA Research](https:\u002F\u002Fgithub.com\u002FIDEA-Research) 开发的 Grounding DINO 1.5 系列先进开放集目标检测模型，旨在推动开放集目标检测技术的“前沿”。该系列包含两款模型：\n\n- **Grounding DINO 1.5 Pro:** 我们最**强大**的开放集目标检测模型，专为在广泛场景中实现更强的泛化能力而设计。\n\n- **Grounding DINO 1.5 Edge:** 我们在边缘计算场景下最**高效**的模型，针对许多需要边缘部署的应用场景进行了优化，以满足更高的速度需求。\n\n\u003Cp align=\"left\">\u003Cem>注：我们使用“edge”一词，既指“突破边界”，也指“在边缘设备上运行”。\u003C\u002Fem>\u003C\u002Fp>\n\n\n## 模型框架\n\nGrounding DINO 1.5的整体框架如下图所示：\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_7746b27cb635.png\" width=\"80%\">\n\u003C\u002Fdiv>\n\nGrounding DINO 1.5 Pro 保留了 Grounding DINO 的核心架构，采用深度早期融合结构。\n\n## 性能\n\n### 与Grounding DINO的并排性能对比\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_1f5192193a50.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> Grounding DINO 1.5 Pro 与 Grounding DINO \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_611975935d6b.png\" width=\"80%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n### Grounding DINO 1.5 和 1.6 Pro 的零样本迁移结果\n\n\u003Ctable align=\"center\">\n\u003Cthead>\n  \u003Ctr>\n    \u003Cth>模型\u003C\u002Fth>\n    \u003Cth>COCO \u003Cbr>\u003Csup>\u003Csup>(AP box)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-minival \u003Cbr>\u003Csup>\u003Csup>(AP all)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-minival \u003Cbr>\u003Csup>\u003Csup>(AP rare)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-val \u003Cbr>\u003Csup>\u003Csup>(AP all)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-val \u003Cbr>\u003Csup>\u003Csup>(AP rare)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>ODinW35 \u003Cbr>\u003Csup>\u003Csup>(AP avg)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>ODinW13 \u003Cbr>\u003Csup>\u003Csup>(AP avg)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n  \u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody align=\"center\">\n  \u003Ctr>\n    \u003Ctd>其他最佳\u003Cbr>开放集模型\u003C\u002Ftd>\n    \u003Ctd>53.4\u003Cbr>\u003Csup>\u003Csup>(OmDet-Turbo)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>47.6\u003Cbr>\u003Csup>\u003Csup>(T-Rex2 visual)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>45.4\u003Cbr>\u003Csup>\u003Csup>(T-Rex2 visual)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>45.3\u003Cbr>\u003Csup>\u003Csup>(T-Rex2 visual)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>43.8\u003Cbr>\u003Csup>\u003Csup>(T-Rex2 visual)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>30.1\u003Cbr>\u003Csup>\u003Csup>(OmDet-Turbo)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>59.8\u003C\u002Fb>\u003Cbr>\u003Csup>\u003Csup>(APE-B)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>DetCLIPv3\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd>48.8\u003C\u002Ftd>\n    \u003Ctd>49.9\u003C\u002Ftd>\n    \u003Ctd>41.4\u003C\u002Ftd>\n    \u003Ctd>41.4\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Grounding DINO\u003C\u002Ftd>\n    \u003Ctd>52.5\u003C\u002Ftd>\n    \u003Ctd>27.4\u003C\u002Ftd>\n    \u003Ctd>18.1\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> 26.1 \u003C\u002Ftd>\n    \u003Ctd> 56.9 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>T-Rex2 (text)\u003C\u002Ftd>\n    \u003Ctd>52.2\u003C\u002Ftd>\n    \u003Ctd>54.9\u003C\u002Ftd>\n    \u003Ctd>49.2\u003C\u002Ftd>\n    \u003Ctd> 45.8 \u003C\u002Ftd>\n    \u003Ctd> 42.7 \u003C\u002Ftd>\n    \u003Ctd> 22.0 \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Grounding DINO 1.5 Pro\u003C\u002Ftd>\n    \u003Ctd>54.3\u003C\u002Ftd>\n    \u003Ctd>55.7\u003C\u002Ftd>\n    \u003Ctd>56.1\u003C\u002Ftd>\n    \u003Ctd>47.6\u003C\u002Ftd>\n    \u003Ctd>44.6\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>30.2\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>58.7\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>\u003Cb>Grounding DINO 1.6 Pro\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>55.4\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>57.7\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>57.5\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>51.1\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>51.5\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n- Grounding DINO 1.5 Pro 在 COCO、LVIS-minival、LVIS-val 和 ODinW35 的 **零样本** 迁移基准上取得了 **SOTA** 成绩。\n- Grounding DINO 1.6 Pro 显著提升了模型在 COCO 和 LVIS 零样本迁移基准上的表现，尤其是在 LVIS 稀有类别上。\n\n### Grounding DINO 1.5 作为强大的少样本学习者\n\n我们在 ODinW 少样本基准上验证了 Grounding DINO 1.5 Pro 的迁移能力，并且 Grounding DINO 1.5 Pro 在 ODinW 少样本设置中取得了新的 **SOTA** 结果。\n\n\u003Ctable align=\"center\">\n\u003Cthead>\n  \u003Ctr>\n    \u003Cth>模型\u003C\u002Fth>\n    \u003Cth>微调\u003C\u002Fth>\n    \u003Cth>1-Shot\u003C\u002Fth>\n    \u003Cth>3-Shot\u003C\u002Fth>\n    \u003Cth>5-Shot\u003C\u002Fth>\n    \u003Cth>10-Shot\u003C\u002Fth>\n    \u003Cth>全部\u003C\u002Fth>\n  \u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody align=\"center\">\n  \u003Ctr>\n    \u003Ctd>DyHead (COCO)\u003C\u002Ftd>\n    \u003Ctd> 全量 \u003C\u002Ftd>\n    \u003Ctd>31.9 ± 1.3\u003C\u002Ftd>\n    \u003Ctd>44.2 ± 0.3\u003C\u002Ftd>\n    \u003Ctd>44.7 ± 1.7\u003C\u002Ftd>\n    \u003Ctd>50.1 ± 1.6\u003C\u002Ftd>\n    \u003Ctd> 63.2 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>DyHead (O365)\u003C\u002Ftd>\n    \u003Ctd> 全量 \u003C\u002Ftd>\n    \u003Ctd>33.8 ± 3.5\u003C\u002Ftd>\n    \u003Ctd>43.6 ± 1.0\u003C\u002Ftd>\n    \u003Ctd>46.4 ± 1.1\u003C\u002Ftd>\n    \u003Ctd>50.8 ± 1.3\u003C\u002Ftd>\n    \u003Ctd> 60.8 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>GLIP-L\u003C\u002Ftd>\n    \u003Ctd> 全量 \u003C\u002Ftd>\n    \u003Ctd>59.9 ± 1.4\u003C\u002Ftd>\n    \u003Ctd>62.1 ± 0.7\u003C\u002Ftd>\n    \u003Ctd>64.2 ± 0.3\u003C\u002Ftd>\n    \u003Ctd>64.9 ± 0.7\u003C\u002Ftd>\n    \u003Ctd> 68.9 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>GLIPv2-H\u003C\u002Ftd>\n    \u003Ctd> 全量 \u003C\u002Ftd>\n    \u003Ctd>61.7 ± 0.5\u003C\u002Ftd>\n    \u003Ctd>64.1 ± 0.8\u003C\u002Ftd>\n    \u003Ctd>64.4 ± 0.6\u003C\u002Ftd>\n    \u003Ctd>65.9 ± 0.3\u003C\u002Ftd>\n    \u003Ctd> 70.4 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>GLEE-Pro\u003C\u002Ftd>\n    \u003Ctd> 全量 \u003C\u002Ftd>\n    \u003Ctd>59.4 ± 1.5\u003C\u002Ftd>\n    \u003Ctd>61.7 ± 0.5\u003C\u002Ftd>\n    \u003Ctd>64.3 ± 1.3\u003C\u002Ftd>\n    \u003Ctd>65.6 ± 0.4\u003C\u002Ftd>\n    \u003Ctd> 69.0 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>MQ-GLIP-L\u003C\u002Ftd>\n    \u003Ctd>全量\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>62.4\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>64.2\u003C\u002Ftd>\n    \u003Ctd>65.4\u003C\u002Ftd>\n    \u003Ctd>66.6\u003C\u002Ftd>\n    \u003Ctd>71.3\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Grounding DINO 1.5 Pro\u003C\u002Ftd>\n    \u003Ctd>全量\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>62.4\u003C\u002Fb> ± 1.1\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>66.3\u003C\u002Fb> ± 1.0\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>66.9\u003C\u002Fb> ± 0.2\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>67.9\u003C\u002Fb> ± 0.3\u003C\u002Ftd>\n    \u003Ctd> \u003Cb>72.4\u003C\u002Fb> \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n- “全量”表示对整个模型进行微调。\n- 参照 GLIP 的做法，对于每个少样本设置，我们使用不同的随机种子进行训练和验证集划分，共训练三次。\n\n### 下游数据集上的微调结果\n\n\u003Ctable align=\"center\">\n\u003Cthead>\n  \u003Ctr>\n    \u003Cth>模型\u003C\u002Fth>\n    \u003Cth>LVIS-minival \u003Cbr>\u003Csup>\u003Csup>(AP all)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-minival \u003Cbr>\u003Csup>\u003Csup>(AP rare)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-val \u003Cbr>\u003Csup>\u003Csup>(AP all)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>LVIS-val \u003Cbr>\u003Csup>\u003Csup>(AP rare)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>ODinW35 \u003Cbr>\u003Csup>\u003Csup>(AP avg)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n    \u003Cth>ODinW13 \u003Cbr>\u003Csup>\u003Csup>(AP avg)\u003C\u002Fsup>\u003C\u002Fsup>\u003C\u002Fth>\n  \u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody align=\"center\">\n  \u003Ctr>\n    \u003Ctd>GLIP\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> 68.9 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>GLEE-Pro\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> 69.0 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>GLIPv2\u003C\u002Ftd>\n    \u003Ctd>59.8\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> 70.4 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>OWL-ST + FT †\u003C\u002Ftd>\n    \u003Ctd>54.4\u003C\u002Ftd>\n    \u003Ctd>46.1\u003C\u002Ftd>\n    \u003Ctd>49.4\u003C\u002Ftd>\n    \u003Ctd>44.6\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>DetCLIPv2\u003C\u002Ftd>\n    \u003Ctd>58.3\u003C\u002Ftd>\n    \u003Ctd>60.1\u003C\u002Ftd>\n    \u003Ctd>53.1\u003C\u002Ftd>\n    \u003Ctd> 49.0 \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> 70.4 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>DetCLIPv3\u003C\u002Ftd>\n    \u003Ctd> 60.5 \u003C\u002Ftd>\n    \u003Ctd> 60.7 \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd>-\u003C\u002Ftd>\n    \u003Ctd> 72.1 \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>DetCLIPv3 †\u003C\u002Ftd>\n    \u003Ctd>60.8\u003C\u002Ftd>\n    \u003Ctd>56.7\u003C\u002Ftd>\n    \u003Ctd>54.1\u003C\u002Ftd>\n    \u003Ctd>45.8\u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n    \u003Ctd> - \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Grounding DINO 1.5 Pro (zero-shot)\u003C\u002Ftd>\n    \u003Ctd>55.7\u003C\u002Ftd>\n    \u003Ctd>56.1\u003C\u002Ftd>\n    \u003Ctd>47.6\u003C\u002Ftd>\n    \u003Ctd>44.6\u003C\u002Ftd>\n    \u003Ctd>30.2\u003C\u002Ftd>\n    \u003Ctd>58.7\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>\u003Cb>Grounding DINO 1.5 Pro\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>68.1\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>68.7\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>63.5\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>64.0\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>70.6\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd>\u003Cb>72.4\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftbody>\n\u003C\u002Ftable>\n\n- † 表示仅使用 LVIS 基础类别进行微调的结果。\n\n## API 使用\n### 1. 安装\n\n```bash\npip install -v -e .\n```\n\n### 2. 向 DeepDataSpace 申请 API\n\n请访问 DeepDataSpace 获取 API 密钥：https:\u002F\u002Fdeepdataspace.com\u002Frequest_api\n\n\n### 3. 运行演示代码\n\n```bash\npython demo\u002Fdemo.py --token \u003CAPI_TOKEN>\n```\n\n### 4. 在线 Gradio 演示\n```bash\npython gradio_app.py --token \u003CAPI_TOKEN>\n```\n\n## 案例分析与定性可视化\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> 常见目标检测 \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_1392ad14b999.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_089b42720777.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> 长尾目标检测 \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_dc5bc14547b6.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> 短标题定位 \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_737e926aec39.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> 长标题定位 \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_0021e1eb1b25.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_546db643a9cc.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_34ec7b0f3885.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> 密集目标检测 \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_e39503efb986.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_ea73f7cad284.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> 视频目标检测 \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_527899f83b55.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n\u003Cp>\u003C\u002Fp>\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> 边缘设备上的高级目标检测 \u003C\u002Fb> \u003C\u002Fsummary>\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_readme_3e2e625aed8e.png\" width=\"100%\">\n\u003C\u002Fdiv>\n\n\u003C\u002Fdetails>\n\n## 相关工作\n- [Grounding DINO](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGroundingDINO)：强大的开放集目标检测模型。\n- [Grounded-Segment-Anything](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGrounded-Segment-Anything)：结合 Grounding DINO 和 SAM 的开放集检测与分割模型。\n- [T-Rex\u002FT-Rex2](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002Ft-rex)：支持文本和视觉提示的通用开放集检测模型。\n\n## 许可证\n\n\u003Cdetails close>\n\u003Csummary> \u003Cb> Grounding DINO 1.5 API 许可证 \u003C\u002Fb> \u003C\u002Fsummary>\n\nGrounding DINO 1.5 采用 Apache 2.0 许可证发布。更多信息请参阅 [LICENSE](.\u002FLICENSE) 文件。\n\n版权所有 © IDEA。保留所有权利。\n\n根据 Apache 许可证第 2.0 版（“许可证”）授权；除非符合许可证规定，否则不得使用这些文件。您可以在 http:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0 获取许可证副本。\n\n除非适用法律要求或书面同意，否则在“按原样”基础上分发软件，不提供任何形式的保证或条件，无论是明示还是暗示。有关特定语言的权限和限制，请参阅许可证。\n\n\u003C\u002Fdetails>\n\n## BibTeX\n\n如果您认为我们的工作对您的研究有所帮助，请考虑引用以下 BibTeX 条目。\n\n```BibTeX\n@misc{ren2024grounding,\n      title={Grounding DINO 1.5: 推进开放集目标检测的“边缘”}, \n      author={Tianhe Ren and Qing Jiang and Shilong Liu and Zhaoyang Zeng and Wenlong Liu and Han Gao and Hongjie Huang and Zhengyu Ma and Xiaoke Jiang and Yihao Chen and Yuda Xiong and Hao Zhang and Feng Li and Peijun Tang and Kent Yu and Lei Zhang},\n      year={2024},\n      eprint={2405.10300},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV}\n}\n```\n\n```BibTeX\n@misc{jiang2024trex2,\n      title={T-Rex2：通过文本-视觉提示协同实现通用目标检测}, \n      author={Qing Jiang and Feng Li and Zhaoyang Zeng and Tianhe Ren and Shilong Liu and Lei Zhang},\n      year={2024},\n      eprint={2403.14610},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV}\n}\n```\n\n```BibTeX\n@article{liu2023grounding,\n  title={Grounding dino：将 DINO 与接地预训练相结合，用于开放集目标检测},\n  author={Liu, Shilong and Zeng, Zhaoyang and Ren, Tianhe and Li, Feng and Zhang, Hao and Yang, Jie and Li, Chunyuan and Yang, Jianwei and Su, Hang and Zhu, Jun 等},\n  journal={arXiv 预印本 arXiv:2303.05499},\n  year={2023}\n}\n```","# Grounding-DINO-1.5-API 快速上手指南\n\nGrounding DINO 1.5 是 IDEA Research 推出的最强开源世界目标检测模型系列，包含面向通用场景的 **Pro** 版本和面向边缘计算优化的 **Edge** 版本。本指南将帮助您快速通过 API 调用该模型。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux 或 macOS (Windows 用户建议使用 WSL2)\n*   **Python 版本**: Python 3.8 或更高版本\n*   **依赖管理**: 已安装 `pip`\n*   **网络环境**: 能够访问 GitHub 及 DeepDataSpace 云服务（如需加速，可配置国内 pip 镜像源）\n\n## 2. 安装步骤\n\n### 2.1 克隆项目与安装依赖\n将项目代码克隆到本地并使用编辑模式安装：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGrounding-DINO-1.5-API.git\ncd Grounding-DINO-1.5-API\n\n# 推荐使用国内镜像源加速安装\npip install -v -e . -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 2.2 获取 API Token\n本项目模型托管于 DeepDataSpace 平台，首次使用必须申请 API Token：\n\n1.  访问 [API Token 申请页面](https:\u002F\u002Fcloud.deepdataspace.com\u002Fapply-token?from=github)。\n2.  注册\u002F登录账号并提交申请获取 Token。\n3.  （可选）如需更多调用次数，可通过 [官方平台](https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage) 使用微信支付购买额度。\n\n## 3. 基本使用\n\n### 3.1 运行命令行 Demo\n获取 Token 后，替换下方 `\u003CAPI_TOKEN>` 为您的实际密钥，运行测试脚本：\n\n```bash\npython demo\u002Fdemo.py --token \u003CAPI_TOKEN>\n```\n\n### 3.2 启动在线交互界面 (Gradio)\n如果您希望使用图形化界面进行实时检测测试，可运行以下命令启动本地 Gradio 服务：\n\n```bash\npython gradio_app.py --token \u003CAPI_TOKEN>\n```\n\n启动成功后，终端会显示本地访问地址（通常为 `http:\u002F\u002F127.0.0.1:7860`），在浏览器打开即可上传图片并输入文本提示词进行检测。","某电商内容审核团队每天需处理数万张用户上传的商品图，要求精准识别并框出图中所有违规物品（如特定品牌的仿冒包、违禁刀具等），且无需针对每类新品重新训练模型。\n\n### 没有 Grounding-DINO-1.5-API 时\n- **冷启动成本极高**：每当出现新型违规商品（如新出现的“某品牌高仿鞋”），算法工程师必须收集数百张样本进行标注和重新训练，耗时数天才能上线。\n- **长尾识别能力弱**：传统检测模型只能识别预设的固定类别，对于用户描述的生僻词或非标准名称（如“带血色的玩具刀”），模型完全无法响应。\n- **人工复核压力大**：由于模型泛化性差，大量疑似图片只能依赖人工逐张排查，导致审核队列堆积，违规内容易漏放。\n- **多场景适配困难**：同一模型难以同时兼顾复杂背景下的细小物体检测与大规模并发请求，边缘端部署效果往往大打折扣。\n\n### 使用 Grounding-DINO-1.5-API 后\n- **零样本即时响应**：审核员只需输入自然语言提示词（如“红色仿冒运动鞋”或“未打码的香烟”），Grounding-DINO-1.5-API 即可直接定位目标，无需任何额外训练数据。\n- **开放词汇理解力强**：凭借强大的开放世界检测能力，该工具能准确理解并框出训练集中从未见过的长尾物体，大幅降低了对生僻描述的误判率。\n- **自动化效率飞跃**：结合 API 的高并发处理能力，系统自动完成初筛与框选，人工仅需复核极少数置信度低的案例，审核效率提升十倍以上。\n- **灵活部署与高精度**：无论是云端大批量处理还是边缘端实时监测，Grounding-DINO-1.5-API 均能提供 SOTA 级别的检测精度，完美适应不同业务场景。\n\nGrounding-DINO-1.5-API 将原本需要数天迭代的定制开发工作转化为秒级的自然语言指令交互，彻底重构了开放场景下的物体检测流程。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_Grounding-DINO-1.5-API_a8818ba3.png","IDEA-Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FIDEA-Research_b8b3359e.png","The International Digital Economy Academy (“IDEA”). ",null,"www.idea.edu.cn","https:\u002F\u002Fgithub.com\u002FIDEA-Research",[80],{"name":81,"color":82,"percentage":83},"Python","#3572A5",100,1098,45,"2026-04-14T14:30:42","Apache-2.0","未说明",{"notes":90,"python":88,"dependencies":91},"该工具为 API 调用模式，非本地模型部署。运行代码仅需安装基础 Python 包（通过'pip install -v -e .'），无需配置本地 GPU、CUDA 或下载大模型文件。核心依赖是有效的 DeepDataSpace API Token，首次使用需前往官网申请，支持按量付费。演示代码包括命令行脚本和 Gradio Web 界面。",[],[15],[94,95,96,97,98,99,100],"grounding-dino","object-detection","open-set","foundation-model","open-vocabulary-detection","open-world","zero-shot-object-detection","2026-03-27T02:49:30.150509","2026-04-15T13:04:50.186114",[],[]]