[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-IDEA-Research--T-Rex":3,"tool-IDEA-Research--T-Rex":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,2,"2026-04-08T11:23:26",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[43,15,13,14],"语言模型",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,52],"视频",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":59,"last_commit_at":60,"category_tags":61,"status":17},5646,"opencv","opencv\u002Fopencv","OpenCV 是一个功能强大的开源计算机视觉库，被誉为机器视觉领域的“瑞士军刀”。它主要解决让计算机“看懂”图像和视频的核心难题，提供了从基础的图像读取、色彩转换、边缘检测，到复杂的人脸识别、物体追踪、3D 重建及深度学习模型部署等全方位算法支持。无论是处理静态图片还是分析实时视频流，OpenCV 都能高效完成特征提取与模式识别任务。\n\n这款工具特别适合计算机视觉开发者、人工智能研究人员以及机器人工程师使用。对于希望将视觉感知能力集成到应用中的软件工程师，或是需要快速验证算法原型的学术研究者，OpenCV 都是不可或缺的基础设施。虽然普通用户通常不会直接操作代码，但日常生活中使用的扫码支付、美颜相机和自动驾驶系统，背后往往都有它的身影。\n\nOpenCV 的独特亮点在于其卓越的性能与广泛的兼容性。它采用 C++ 编写以确保高速运算，同时提供 Python、Java 等多种语言接口，极大降低了开发门槛。库中内置了数千种优化算法，并支持跨平台运行，能够无缝对接各类硬件加速器。作为社区驱动的项目，OpenCV 拥有活跃的生态系统和丰富的学习资源，持续推动着视觉技术的前沿发展。",86988,1,"2026-04-08T16:06:22",[14,15],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":68,"readme_en":69,"readme_zh":70,"quickstart_zh":71,"use_case_zh":72,"hero_image_url":73,"owner_login":74,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":85,"forks":86,"last_commit_at":87,"license":88,"difficulty_score":32,"env_os":89,"env_gpu":90,"env_ram":89,"env_deps":91,"category_tags":97,"github_topics":98,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":105,"updated_at":106,"faqs":107,"releases":157},5627,"IDEA-Research\u002FT-Rex","T-Rex","[ECCV2024] API code for T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy","T-Rex2 是一款面向通用物体检测的先进 AI 模型，由 IDEA Research 团队研发并发表于 ECCV 2024。它突破了传统检测器依赖固定类别的限制，通过“文本 - 视觉提示协同”技术，让用户能结合文字描述或简单的视觉交互（如点击、框选）来精准定位图像中的任意目标。无论是识别罕见物体、统计复杂场景中的数量，还是进行细粒度的图像标注，T-Rex2 都能提供零样本（Zero-shot）的高性能支持。\n\n该工具主要解决了传统算法在面对开放世界场景时灵活性不足、泛化能力弱的痛点，将复杂的检测任务转化为更直观的交互式体验。其核心技术亮点在于能够深度融合语义理解与视觉特征，甚至支持将检测任务视为“下一个令牌预测”，展现出强大的多模态感知能力。\n\nT-Rex2 非常适合计算机视觉研究人员探索前沿算法，也适用于开发者快速集成高精度检测功能到应用中。此外，基于该模型衍生的 Count Anything APP 和 T-Rex Label 工具，也让农业、制造业从业者及数据标注设计师能轻松实现自动化计数与高效数据集构建。无论你是希望深入底层代码的工程师，还是寻求提升工作效率的行业用户，T-R","T-Rex2 是一款面向通用物体检测的先进 AI 模型，由 IDEA Research 团队研发并发表于 ECCV 2024。它突破了传统检测器依赖固定类别的限制，通过“文本 - 视觉提示协同”技术，让用户能结合文字描述或简单的视觉交互（如点击、框选）来精准定位图像中的任意目标。无论是识别罕见物体、统计复杂场景中的数量，还是进行细粒度的图像标注，T-Rex2 都能提供零样本（Zero-shot）的高性能支持。\n\n该工具主要解决了传统算法在面对开放世界场景时灵活性不足、泛化能力弱的痛点，将复杂的检测任务转化为更直观的交互式体验。其核心技术亮点在于能够深度融合语义理解与视觉特征，甚至支持将检测任务视为“下一个令牌预测”，展现出强大的多模态感知能力。\n\nT-Rex2 非常适合计算机视觉研究人员探索前沿算法，也适用于开发者快速集成高精度检测功能到应用中。此外，基于该模型衍生的 Count Anything APP 和 T-Rex Label 工具，也让农业、制造业从业者及数据标注设计师能轻松实现自动化计数与高效数据集构建。无论你是希望深入底层代码的工程师，还是寻求提升工作效率的行业用户，T-Rex2 都提供了从 API 调用到开源部署的完整解决方案。","\n\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_ba3ea7c795ef.jpg\" width=900 >\n\u003C\u002Fdiv>\n\n\u003Cdiv align=center>\n  \u003Cp> A picture speaks volumes, as do the words that frame it.\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=center>\n\n![Static Badge](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FT--Rex-2-2) [![arXiv preprint](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv_2403.14610-blue%3Flog%3Darxiv)](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2403.14610.pdf)   [![Homepage](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fhomepage-visit-blue)](https:\u002F\u002Fdeepdataspace.com\u002Fhome) [![Hits](https:\u002F\u002Fhits.seeyoufarm.com\u002Fapi\u002Fcount\u002Fincr\u002Fbadge.svg?url=https%3A%2F%2Fgithub.com%2FMountchicken%2FT-Rex&count_bg=%2379C83D&title_bg=%23DF9B9B&icon=iconify.svg&icon_color=%23FFF9F9&title=VISITORS&edge_flat=false)](https:\u002F\u002Fhits.seeyoufarm.com) [![Static Badge](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FTry_Demo!-blue?logo=chainguard&logoColor=green)](https:\u002F\u002Fdeepdataspace.com\u002Fplayground\u002Fivp)\n\u003C\u002Fdiv>\n\n----\n🔥 [2025\u002F10\u002F15] Rex-Omni: Still using traditional detectors? We've turned object detection into a simple \"Next-Token Prediction\" task with an MLLM! One model (**fully open-sourced**), zero-shot SOTA performance, tackling detection, referring, OCR, and GUI grounding all at once. Come see the next generation of perception models\n\n👉 [Check out Rex-Omni!](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FRex-Omni)\n\n----\n📌 You can get API access here [https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage](https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage). Once you get the API key, you can try T-Rex2 by following these example codes: [https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Ftree\u002Ftrex2\u002Fdemo_examples](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Ftree\u002Ftrex2\u002Fdemo_examples)\n\n----\n\u003C!-- Add demo video from youtube -->\n# Introduction Video 🎥 \nTurn on the music if possible 🎧\n\u003C!-- Add a video here -->\n[![Video Name](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_c5ed5c2ba420.jpg)](https:\u002F\u002Fgithub.com\u002FMountchicken\u002FUnion14M\u002Fassets\u002F65173622\u002F60be19f5-88e4-478e-b1a3-af62b8d6d177)\n\n# News 📰\n- **2024-06-24**: We have introduced two new free products based on T-Rex2:\n  - [**Count Anything APP**](https:\u002F\u002Fapps.apple.com\u002Fapp\u002Fid6502489882): CountAnything is a versatile, efficient, and cost-effective counting tool that utilizes advanced computer vision algorithms, specifically T-Rex, for automated counting. It is applicable across various industries, including manufacturing, agriculture, and aquaculture.\n  \n[![Video Name](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_97830c1e15ab.jpg)](https:\u002F\u002Fgithub.com\u002FMountchicken\u002FMountchicken\u002Fassets\u002F65173622\u002F1cffc04a-d9be-46ec-b87e-f754b71d6e21)\n  \n  - [**T-Rex Label**](https:\u002F\u002Fwww.trexlabel.com\u002F?source=gh): T-Rex Label is an advanced annotation tool powerd by T-Rex2, specifically designed to handle the complexities of various industries and scenarios. It is the ideal choice for those aiming to streamline their workflows and effortlessly create high-quality datasets.\n\n[![Video Name](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_573febdb2826.jpg)](https:\u002F\u002Fgithub.com\u002FMountchicken\u002FCodeCookbook\u002Fassets\u002F65173622\u002F58129775-533d-4aad-88f4-e1992546f9ba)\n\n- **2024-05-17**: [Grounding DINO 1.5](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGrounding-DINO-1.5-API) is released. This is IDEA Research's Most Capable Open-World Object Detection Model Series. It can detect any object throught text prompts!\n\n# Contents 📜\n- [Introduction Video 🎥](#introduction-video-)\n- [News 📰](#news-)\n- [Contents 📜](#contents-)\n- [1. Introduction 📚](#1-introduction-)\n  - [What Can T-Rex Do 📝](#what-can-t-rex-do-)\n- [2. Try Demo 🎮](#2-try-demo-)\n- [3. API Usage Examples📚](#3-api-usage-examples)\n  - [Setup](#setup)\n  - [Interactive Visual Prompt API](#interactive-visual-prompt-api)\n  - [Generic Visual Prompt API](#generic-visual-prompt-api)\n  - [Customize Visual Prompt Embedding API](#customize-visual-prompt-embedding-api)\n  - [Embedding Inference API](#embedding-inference-api)\n- [4. Local Gradio Demo with API🎨](#4-local-gradio-demo-with-api)\n  - [4.1. Setup](#41-setup)\n  - [4.2. Run the Gradio Demo](#42-run-the-gradio-demo)\n  - [4.3. Basic Operations](#43-basic-operations)\n- [5. Related Works](#5-related-works)\n- [BibTeX 📚](#bibtex-)\n\n# 1. Introduction 📚\nObject detection, the ability to locate and identify objects within an image, is a cornerstone of computer vision, pivotal to applications ranging from autonomous driving to content moderation. A notable limitation of traditional object detection models is their closed-set nature. These models are trained on a predetermined set of categories, confining their ability to recognize only those specific categories. The training process itself is arduous, demanding expert knowledge, extensive datasets, and intricate model tuning to achieve desirable accuracy. Moreover, the introduction of a novel object category, exacerbates these challenges, necessitating the entire process to be repeated.\n\nT-Rex2 addresses these limitations by integrating both text and visual prompts in one model, thereby harnessing the strengths of both modalities. The synergy of text and visual prompts equips T-Rex2 with robust zero-shot capabilities, making it a versatile tool in the ever-changing landscape of object detection.\n\u003C!-- insert image in the middle -->\n\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_cb918a7d87d2.jpg\" width=600 >\n\u003C\u002Fdiv>\n\n## What Can T-Rex Do 📝\nT-Rex2 is well-suited for a variety of real-world applications, including but not limited to: agriculture, industry, livstock and wild animals monitoring, biology, medicine, OCR, retail, electronics, transportation, logistics, and more. T-Rex2 mainly supports three major workflows including interactive visual prompt workflow, generic visual prompt workflow and text prompt workflow. It can cover most of the application scenarios that require object detection\n\n[![Video Name](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_fead475159d5.png)](https:\u002F\u002Fgithub.com\u002FMountchicken\u002FUnion14M\u002Fassets\u002F65173622\u002Fc3585d49-208c-4ba4-9954-fd1572d299dc)\n\n# 2. Try Demo 🎮\nWe are now opening online demo for T-Rex2. [Check our demo here](https:\u002F\u002Fdeepdataspace.com\u002Fplayground\u002Fivp)\n\n\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_0b11d5adc089.jpg\">\n\u003C\u002Fdiv>\n\n\n# 3. API Usage Examples📚\n📌 You can get API access here [https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage](https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage). Once you get the API key, you can try T-Rex2 by following these example codes: [https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Ftree\u002Ftrex2\u002Fdemo_examples](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Ftree\u002Ftrex2\u002Fdemo_examples)\n\n## Setup\nInstall the API package and acquire the API token from the email.\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex.git\ncd T-Rex\npip install dds-cloudapi-sdk==0.1.1\npip install -v -e .\n```\n\n\n\n## Interactive Visual Prompt API\n- In interactive visual prompt workflow, users can provide visual prompts in boxes or points format on a given image to specify the object to be detected. \n\n  ```python\n  python demo_examples\u002Finteractive_inference.py --token \u003Cyour_token> \n  ```\n  - You are supposed get the following visualization results at `demo_vis\u002F`\n    \u003Cdiv align=center>\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_214b668251fc.jpg\" width=400 >\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_5100572494af.jpg\" height=285 >\n    \u003C\u002Fdiv>\n\n## Generic Visual Prompt API\n- In generic visual prompt workflow, users can provide visual prompts on one reference image\nand detect on the other image.\n\n  ```python\n  python demo_examples\u002Fgeneric_inference.py --token \u003Cyour_token> \n  ```\n  - You are supposed get the following visualization results at `demo_vis\u002F`\n    \u003Cdiv align=center>\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_d7d320bf336f.jpg\" width=280 > +\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_2591af11e317.jpg\" width=280 > =\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_05e1a67e4c07.jpg\" width=280 >\n    \u003C\u002Fdiv>\n\n## Customize Visual Prompt Embedding API\nIn this workflow, you can customize a visual embedding for a object category using multiple images. With this embedding, you can detect on any images.\n\n  ```python\n  python demo_examples\u002Fcustomize_embedding.py --token \u003Cyour_token> \n  ```\n  - You are supposed to get a download link for this visual prompt embedding in `safetensors` format. Save it and let's use it for `embedding_inference`.\n  \n## Embedding Inference API\nWith the visual prompt embeddings generated from the previous API. You can use it detect on any images.\n  ```python\n    python demo_examples\u002Fembedding_inference.py --token \u003Cyour_token> \n  ```\n\n# 4. Local Gradio Demo with API🎨\n\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_918548ffcdaa.jpg\" width=500>\n\u003C\u002Fdiv>\n\n## 4.1. Setup\n- Install T-Rex2 API if you haven't done so\n```bash\n- install gradio and other dependencies\n```bash\n# install gradio and other dependencies\npip install gradio-image-prompter\n```\n\n## 4.2. Run the Gradio Demo\n```bash\npython gradio_demo.py --trex2_api_token \u003Cyour_token>\n```\n\n## 4.3. Basic Operations\n- **Draw Box**: Draw a box on the image to specify the object to be detected. Drag the left mouse button to draw a box.\n- **Draw Point**: Draw a point on the image to specify the object to be detected. Click the left mouse button to draw a point.\n- **Interactive Visual Prompt**: Provide visual prompts in boxes or points format on a given image to specify the object to be detected. The Input Target Image and Interactive Visual Prompt Image should be the same\n- **Generic Visual Prompt**: Provide visual prompts on multiple reference images and detect on the other image.\n\n# 5. Related Works\n:fire: We release the [training and inference code](https:\u002F\u002Fgithub.com\u002FUX-Decoder\u002FDINOv) and [demo link](http:\u002F\u002Fsemantic-sam.xyzou.net:6099\u002F) of [DINOv](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2311.13601.pdf), which can handle in-context **visual prompts** for open-set and referring detection & segmentation. Check it out!\n\n# 6. LICENSE\nWe use [IDEA License 1.0](LICENSE)\n\n# BibTeX 📚\n```\n@misc{jiang2024trex2,\n      title={T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy}, \n      author={Qing Jiang and Feng Li and Zhaoyang Zeng and Tianhe Ren and Shilong Liu and Lei Zhang},\n      year={2024},\n      eprint={2403.14610},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV}\n}\n```\n","\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_ba3ea7c795ef.jpg\" width=900 >\n\u003C\u002Fdiv>\n\n\u003Cdiv align=center>\n  \u003Cp>一张图片胜过千言万语，而围绕它的文字同样意义深远。\u003C\u002Fp>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=center>\n\n![静态徽章](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FT--Rex-2-2) [![arXiv预印本](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Farxiv_2403.14610-blue%3Flog%3Darxiv)](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2403.14610.pdf)   [![主页](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fhomepage-visit-blue)](https:\u002F\u002Fdeepdataspace.com\u002Fhome) [![访问量](https:\u002F\u002Fhits.seeyoufarm.com\u002Fapi\u002Fcount\u002Fincr\u002Fbadge.svg?url=https%3A%2F%2Fgithub.com%2FMountchicken%2FT-Rex&count_bg=%2379C83D&title_bg=%23DF9B9B&icon=iconify.svg&icon_color=%23FFF9F9&title=VISITORS&edge_flat=false)](https:\u002F\u002Fhits.seeyoufarm.com) [![静态徽章](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FTry_Demo!-blue?logo=chainguard&logoColor=green)](https:\u002F\u002Fdeepdataspace.com\u002Fplayground\u002Fivp)\n\u003C\u002Fdiv>\n\n----\n🔥 [2025\u002F10\u002F15] Rex-Omni: 还在使用传统检测器吗？我们已将目标检测转化为一个简单的“下一个标记预测”任务，借助多模态大语言模型实现！仅需一个模型（**完全开源**），即可达到零样本SOTA性能，同时解决检测、引用、OCR以及GUI对齐等问题。快来体验下一代感知模型吧！\n\n👉 [查看Rex-Omni！](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FRex-Omni)\n\n----\n📌 您可在此处获取API访问权限：[https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage](https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage)。获得API密钥后，您可按照以下示例代码试用T-Rex2：[https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Ftree\u002Ftrex2\u002Fdemo_examples](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Ftree\u002Ftrex2\u002Fdemo_examples)\n\n----\n\u003C!-- 添加来自YouTube的演示视频 -->\n# 介绍视频 🎥 \n如果可以的话，请打开音乐 🎧\n\u003C!-- 在此处添加视频 -->\n[![视频名称](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_c5ed5c2ba420.jpg)](https:\u002F\u002Fgithub.com\u002FMountchicken\u002FUnion14M\u002Fassets\u002F65173622\u002F60be19f5-88e4-478e-b1a3-af62b8d6d177)\n\n# 新闻 📰\n- **2024-06-24**: 我们基于T-Rex2推出了两款全新免费产品：\n  - [**Count Anything APP**](https:\u002F\u002Fapps.apple.com\u002Fapp\u002Fid6502489882)：CountAnything是一款多功能、高效且经济实惠的计数工具，采用先进的计算机视觉算法——特别是T-Rex——进行自动化计数。它适用于制造业、农业和水产养殖等多个行业。\n  \n[![视频名称](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_97830c1e15ab.jpg)](https:\u002F\u002Fgithub.com\u002FMountchicken\u002FMountchicken\u002Fassets\u002F65173622\u002F1cffc04a-d9be-46ec-b87e-f754b71d6e21)\n  \n  - [**T-Rex Label**](https:\u002F\u002Fwww.trexlabel.com\u002F?source=gh)：T-Rex Label是一款由T-Rex2驱动的先进标注工具，专为应对各行业及场景中的复杂需求而设计。它是希望简化工作流程并轻松创建高质量数据集的理想选择。\n  \n[![视频名称](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_573febdb2826.jpg)](https:\u002F\u002Fgithub.com\u002FMountchicken\u002FCodeCookbook\u002Fassets\u002F65173622\u002F58129775-533d-4aad-88f4-e1992546f9ba)\n\n- **2024-05-17**: [Grounding DINO 1.5](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGrounding-DINO-1.5-API)发布。这是IDEA Research推出的最强大的开放世界目标检测模型系列。只需通过文本提示，即可检测任何物体！\n\n# 目录 📜\n- [介绍视频 🎥](#introduction-video-)\n- [新闻 📰](#news-)\n- [目录 📜](#contents-)\n- [1. 介绍 📚](#1-introduction-)\n  - [T-Rex能做什么 📝](#what-can-t-rex-do-)\n- [2. 试用演示 🎮](#2-try-demo-)\n- [3. API使用示例📚](#3-api-usage-examples)\n  - [设置](#setup)\n  - [交互式视觉提示API](#interactive-visual-prompt-api)\n  - [通用视觉提示API](#generic-visual-prompt-api)\n  - [自定义视觉提示嵌入API](#customize-visual-prompt-embedding-api)\n  - [嵌入推理API](#embedding-inference-api)\n- [4. 使用API的本地Gradio演示🎨](#4-local-gradio-demo-with-api)\n  - [4.1. 设置](#41-setup)\n  - [4.2. 运行Gradio演示](#42-run-the-gradio-demo)\n  - [4.3. 基本操作](#43-basic-operations)\n- [5. 相关工作](#5-related-works)\n- [BibTeX 📚](#bibtex-)\n\n# 1. 介绍 📚\n目标检测，即在图像中定位和识别物体的能力，是计算机视觉的基石，对自动驾驶、内容审核等应用至关重要。传统目标检测模型的一个显著局限性在于其封闭集特性。这些模型仅在预先确定的类别上进行训练，因此只能识别这些特定类别。训练过程本身也十分繁琐，需要专业知识、大规模数据集以及复杂的模型调优才能达到理想的精度。此外，一旦引入新的物体类别，这些挑战将进一步加剧，整个流程都需重新开始。\n\nT-Rex2通过在一个模型中整合文本和视觉提示，充分发挥了两种模态的优势，从而克服了这些局限。文本与视觉提示的协同作用赋予了T-Rex2强大的零样本能力，使其成为不断变化的目标检测领域中的一款多功能工具。\n\u003C!-- 在中间插入图片 -->\n\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_cb918a7d87d2.jpg\" width=600 >\n\u003C\u002Fdiv>\n\n## T-Rex能做什么 📝\nT-Rex2非常适合多种实际应用场景，包括但不限于：农业、工业、家畜和野生动物监测、生物学、医学、OCR、零售、电子、交通、物流等领域。T-Rex2主要支持三种主要工作流：交互式视觉提示工作流、通用视觉提示工作流和文本提示工作流。它可以覆盖大多数需要目标检测的应用场景。\n\n[![视频名称](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_fead475159d5.png)](https:\u002F\u002Fgithub.com\u002FMountchicken\u002FUnion14M\u002Fassets\u002F65173622\u002Fc3585d49-208c-4ba4-9954-fd1572d299dc)\n\n# 2. 试用演示 🎮\n我们现在开放T-Rex2的在线演示。[请在此处查看演示](https:\u002F\u002Fdeepdataspace.com\u002Fplayground\u002Fivp)\n\n\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_0b11d5adc089.jpg\">\n\u003C\u002Fdiv>\n\n\n# 3. API使用示例📚\n📌 您可在此处获取API访问权限：[https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage](https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage)。获得API密钥后，您可按照以下示例代码试用T-Rex2：[https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Ftree\u002Ftrex2\u002Fdemo_examples](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Ftree\u002Ftrex2\u002Fdemo_examples)\n\n## 设置\n安装API包，并从邮件中获取API令牌。\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex.git\ncd T-Rex\npip install dds-cloudapi-sdk==0.1.1\npip install -v -e .\n```\n\n## 交互式视觉提示 API\n- 在交互式视觉提示工作流中，用户可以在给定的图像上以框或点的形式提供视觉提示，以指定要检测的对象。\n\n  ```python\n  python demo_examples\u002Finteractive_inference.py --token \u003Cyour_token> \n  ```\n  - 您应该会在 `demo_vis\u002F` 目录下看到以下可视化结果：\n    \u003Cdiv align=center>\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_214b668251fc.jpg\" width=400 >\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_5100572494af.jpg\" height=285 >\n    \u003C\u002Fdiv>\n\n## 通用视觉提示 API\n- 在通用视觉提示工作流中，用户可以在一张参考图像上提供视觉提示，并在另一张图像上进行检测。\n\n  ```python\n  python demo_examples\u002Fgeneric_inference.py --token \u003Cyour_token> \n  ```\n  - 您应该会在 `demo_vis\u002F` 目录下看到以下可视化结果：\n    \u003Cdiv align=center>\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_d7d320bf336f.jpg\" width=280 > +\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_2591af11e317.jpg\" width=280 > =\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_05e1a67e4c07.jpg\" width=280 >\n    \u003C\u002Fdiv>\n\n## 自定义视觉提示嵌入 API\n在这个工作流中，您可以使用多张图像为某个对象类别自定义一个视觉嵌入。利用这个嵌入，您可以在任何图像上进行检测。\n\n  ```python\n  python demo_examples\u002Fcustomize_embedding.py --token \u003Cyour_token> \n  ```\n  - 您应该会获得一个以 `safetensors` 格式保存的视觉提示嵌入下载链接。请将其保存下来，以便用于 `embedding_inference`。\n\n## 嵌入式推理 API\n借助之前 API 生成的视觉提示嵌入，您可以在任何图像上进行检测。\n  ```python\n    python demo_examples\u002Fembedding_inference.py --token \u003Cyour_token> \n  ```\n\n# 4. 使用 API 的本地 Gradio 演示🎨\n\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_readme_918548ffcdaa.jpg\" width=500>\n\u003C\u002Fdiv>\n\n## 4.1. 设置\n- 如果您尚未安装 T-Rex2 API，请先安装：\n```bash\n- 安装 Gradio 及其他依赖项\n```bash\n# 安装 Gradio 及其他依赖项\npip install gradio-image-prompter\n```\n\n## 4.2. 运行 Gradio 演示\n```bash\npython gradio_demo.py --trex2_api_token \u003Cyour_token>\n```\n\n## 4.3. 基本操作\n- **绘制框**：在图像上绘制一个框来指定要检测的对象。按住鼠标左键拖动即可绘制框。\n- **绘制点**：在图像上绘制一个点来指定要检测的对象。单击鼠标左键即可绘制点。\n- **交互式视觉提示**：在给定图像上以框或点的形式提供视觉提示，以指定要检测的对象。输入的目标图像和交互式视觉提示图像应为同一张图像。\n- **通用视觉提示**：在多张参考图像上提供视觉提示，并在另一张图像上进行检测。\n\n# 5. 相关工作\n:fire: 我们发布了 [DINOv](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2311.13601.pdf) 的[训练与推理代码](https:\u002F\u002Fgithub.com\u002FUX-Decoder\u002FDINOv)以及[演示链接](http:\u002F\u002Fsemantic-sam.xyzou.net:6099\u002F)，该模型能够处理上下文相关的**视觉提示**，用于开放集和指代性检测与分割。欢迎查看！\n\n# 6. 许可证\n我们采用 [IDEA License 1.0](LICENSE) 许可协议。\n\n# BibTeX 📚\n```\n@misc{jiang2024trex2,\n      title={T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy}, \n      author={Qing Jiang and Feng Li and Zhaoyang Zeng and Tianhe Ren and Shilong Liu and Lei Zhang},\n      year={2024},\n      eprint={2403.14610},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV}\n}\n```","# T-Rex2 快速上手指南\n\nT-Rex2 是一款强大的通用物体检测模型，支持文本提示、交互式视觉提示（框\u002F点）以及通用视觉提示（参考图）。它突破了传统检测模型的闭集限制，具备优秀的零样本（Zero-shot）检测能力。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux 或 macOS (Windows 用户建议使用 WSL2)\n*   **Python**: 3.8 或更高版本\n*   **依赖管理**: pip\n*   **网络环境**: 需要能够访问 GitHub 和 DeepDataSpace API 服务\n\n## 2. 安装步骤\n\n### 2.1 获取源码\n克隆 T-Rex 官方仓库：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex.git\ncd T-Rex\n```\n\n### 2.2 安装依赖\n安装 API SDK 包及项目依赖：\n```bash\npip install dds-cloudapi-sdk==0.1.1\npip install -v -e .\n```\n\n> **提示**: 如果下载速度较慢，可添加国内镜像源加速（例如清华源）：\n> `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple dds-cloudapi-sdk==0.1.1`\n> `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple -v -e .`\n\n### 2.3 获取 API Token\nT-Rex2 演示和推理依赖云端 API。\n1. 访问 [DeepDataSpace Cloud](https:\u002F\u002Fcloud.deepdataspace.com\u002Fdashboard\u002Fusage) 注册并登录。\n2. 获取您的 **API Key (Token)**。\n3. 后续命令中的 `\u003Cyour_token>` 请替换为此密钥。\n\n## 3. 基本使用\n\n以下展示两种最核心的使用方式：命令行脚本调用和本地 Gradio 界面体验。\n\n### 方式一：命令行脚本调用 (Interactive Visual Prompt)\n通过在图像上绘制框或点来指定检测目标。\n\n1. 运行示例脚本：\n```bash\npython demo_examples\u002Finteractive_inference.py --token \u003Cyour_token>\n```\n\n2. 查看结果：\n生成的可视化结果将保存在 `demo_vis\u002F` 目录下。\n\n### 方式二：本地 Gradio 交互界面 (推荐新手)\n提供一个可视化的 Web 界面，支持鼠标绘制框\u002F点进行实时检测。\n\n1. **安装额外依赖**：\n```bash\npip install gradio-image-prompter\n```\n> **加速提示**: `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple gradio-image-prompter`\n\n2. **启动服务**：\n```bash\npython gradio_demo.py --trex2_api_token \u003Cyour_token>\n```\n\n3. **操作说明**：\n   - 启动后在浏览器打开显示的本地地址（通常为 `http:\u002F\u002F127.0.0.1:7860`）。\n   - **Draw Box**: 按住鼠标左键拖动绘制矩形框。\n   - **Draw Point**: 点击鼠标左键绘制关键点。\n   - 上传图像并绘制提示后，模型将自动检测并标注目标物体。\n\n### 其他高级用法\n*   **通用视觉提示 (Generic Visual Prompt)**: 使用一张参考图中的物体去检测另一张图中的同类物体。\n    ```bash\n    python demo_examples\u002Fgeneric_inference.py --token \u003Cyour_token>\n    ```\n*   **自定义嵌入 (Custom Embedding)**: 使用多张图片定制特定类别的视觉嵌入向量。\n    ```bash\n    python demo_examples\u002Fcustomize_embedding.py --token \u003Cyour_token>\n    ```","某大型电商平台的运营团队需要每日从数万张商品实拍图中，快速提取特定新品（如“红色复古连衣裙”）的展示位置，以自动生成营销素材和库存报告。\n\n### 没有 T-Rex 时\n- **标注成本极高**：面对海量非标准场景图片，人工逐帧框选目标物体耗时数天，且外包标注费用昂贵。\n- **泛化能力不足**：传统检测模型必须针对每类新品重新训练，无法直接识别未见过的新款式的“红色复古连衣裙”。\n- **交互方式僵化**：仅支持预设类别检测，无法通过自然语言描述（如“带有蕾丝边的袖子”）进行灵活筛选。\n- **响应速度滞后**：从提出需求到获得检测结果周期过长，错失营销热点窗口期。\n\n### 使用 T-Rex 后\n- **零样本即时检测**：利用 T-Rex 的文本 - 视觉协同能力，直接输入文字提示即可精准定位从未训练过的商品，无需任何额外训练。\n- **人机交互升级**：运营人员可结合点击画面（视觉提示）与文字描述（文本提示），让 T-Rex 在复杂背景中精确锁定模糊目标。\n- **工作流自动化**：通过 API 将 T-Rex 集成至内部系统，实现上传图片即自动返回坐标数据，处理效率提升数十倍。\n- **动态适应性强**：面对季节性新品或突发营销需求，T-Rex 能立即理解新指令并输出高质量检测结果，大幅缩短上线周期。\n\nT-Rex 通过将通用的物体检测转化为简单的“文本 + 视觉”提示任务，彻底打破了传统模型对训练数据的依赖，让非技术人员也能像对话一样操控计算机视觉。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIDEA-Research_T-Rex_c5ed5c2b.jpg","IDEA-Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FIDEA-Research_b8b3359e.png","The International Digital Economy Academy (“IDEA”). ",null,"www.idea.edu.cn","https:\u002F\u002Fgithub.com\u002FIDEA-Research",[81],{"name":82,"color":83,"percentage":84},"Python","#3572A5",100,2645,171,"2026-04-08T09:55:54","NOASSERTION","未说明","未说明 (项目主要提供云端 API 和本地 Gradio Demo，本地运行具体 GPU 需求未在 README 中列出)",{"notes":92,"python":89,"dependencies":93},"该工具主要推荐使用云端 API 进行调用，需先获取 API Key。本地运行仅提供了基于 API 的 Gradio 演示脚本，并非完整的本地模型推理代码库。如需完整本地部署（训练\u002F推理），README 指向了相关的 arXiv 论文和其他仓库（如 Rex-Omni 或 DINOv），当前文档未提供具体的本地环境配置细节。",[94,95,96],"dds-cloudapi-sdk==0.1.1","gradio-image-prompter","gradio",[15],[99,100,101,102,103,104],"interactive","object-counting","object-detection","open-set","visual-prompt","text-prompt","2026-03-27T02:49:30.150509","2026-04-09T02:24:27.251857",[108,113,118,123,127,132,137,142,147,152],{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},25537,"T-Rex2 的训练流程是怎样的？是否分阶段进行？","T-Rex2 经历了多轮训练。首先训练文本提示（text prompt），然后加载该权重再训练视觉提示（visual prompt）。最后一个训练阶段大约耗时 3 天，在 8xA100 显卡上进行了约 100,000 次迭代。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Fissues\u002F53",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},25538,"T-Rex2 的代码开源吗？如何获取使用权限？","目前代码未完全开源，但 T-Rex2 已通过 API 形式提供服务。用户可以通过 API 调用模型功能，而不需要本地部署全部代码。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Fissues\u002F18",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},25539,"视觉提示（Visual Prompt）是如何采样的？是否包含负样本？","对于每个类别，会随机选择 1 到 N 个真实框（GT boxes）作为视觉提示（N 为该类别的框总数）。采样负样本（negative bbox）对于缓解模型的幻觉问题（即模型不遵循视觉提示而是检测图像中更显著的区域）非常有效，正负样本之间的对比学习有助于模型更好地区分视觉提示。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Fissues\u002F66",{"id":124,"question_zh":125,"answer_zh":126,"source_url":112},25540,"为什么 T-Rex2 的语言编码器使用 CLIP 而不是像 Grounding DINO 那样使用 BERT？","虽然具体架构设计细节未在评论中详尽展开，但项目确认了语言编码器使用的是 CLIP 而非 BERT。这种选择通常是为了利用 CLIP 在图文对齐方面的强大预训练能力，以更好地支持开放词汇检测和视觉 - 文本提示的融合。",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},25541,"API 调用时是否有图片数量或大小的限制？","对于 `customize_embedding` API，最大图片数量为 4 张，且不限制图片尺寸。其他 API（如 generic_inference 和 interactive_inference）的限制需参考具体文档，但 customize_embedding 明确支持 4 张图片输入。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Fissues\u002F51",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},25542,"如何在实时摄像头画面中使用 T-Rex 并仅获取指定矩形区域内的实例掩码？","不需要裁剪图像。你可以将整张图像和对应的矩形坐标直接传递给 SAM（Segment Anything Model），SAM 只会分割该矩形区域内的物体。结合 OpenCV 交互式截取矩形区域坐标，再调用 SAM 算法处理该区域，最后将分割掩码覆盖回原图即可实现实时交互。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Fissues\u002F15",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},25543,"T-Rex2 的 logits 是如何计算的？是否对嵌入向量进行了归一化？","给定视觉提示嵌入（1xC）和最终的 900 个检测查询（900xC），模型不会对它们进行归一化，而是直接进行点积运算得到最终的 logits（900x1）。随后通过 sigmoid 函数将 logits 转换为 0 到 1 之间的最终得分。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Fissues\u002F62",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},25544,"Web Demo 是否支持多类别推理？如何获取边界框坐标？","Gradio demo 和 DDS demo 目前暂不支持多类别推理，但该功能在 API 中可用。如需获取边界框坐标或在本地实现多类别推理，建议参考官方提供的示例代码（如 interactive_inference.py），通过 fork 项目并在本地运行来实现完整功能。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Fissues\u002F42",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},25545,"训练数据是否包含计数相关的数据集？哪些数据集适合用于训练？","具有密集标注（dense annotation）的数据集都适用于训练。例如，可以使用 FSCD 数据集（https:\u002F\u002Fgithub.com\u002FVinAIResearch\u002FCounting-DETR）等包含计数任务标注的数据集来增强模型性能。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Fissues\u002F56",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},25546,"代码中的 'category_id' 是文本提示吗？视觉提示的输入格式是什么？","'category_id' 与类别名称无关，仅用于区分不同的视觉提示。在交互式视觉提示检测模式下，用户只需输入一张图像，系统会从当前图像中提取物体特征并进行检测，无需依赖额外图像。目前公开访问的版本主要开放了视觉提示功能。","https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FT-Rex\u002Fissues\u002F77",[]]