---

🔥 [2025/10/15] Rex-Omni: 还在使用传统检测器吗？我们已将目标检测转化为一个简单的“下一个标记预测”任务，借助多模态大语言模型实现！仅需一个模型（完全开源），即可达到零样本SOTA性能，同时解决检测、引用、OCR以及GUI对齐等问题。快来体验下一代感知模型吧！

👉 查看Rex-Omni！

---

📌 您可在此处获取API访问权限：https://cloud.deepdataspace.com/dashboard/usage。获得API密钥后，您可按照以下示例代码试用T-Rex2：https://github.com/IDEA-Research/T-Rex/tree/trex2/demo_examples

---

介绍视频 🎥

如果可以的话，请打开音乐 🎧

新闻 📰

• 2024-06-24: 我们基于T-Rex2推出了两款全新免费产品：
  • Count Anything APP：CountAnything是一款多功能、高效且经济实惠的计数工具，采用先进的计算机视觉算法——特别是T-Rex——进行自动化计数。它适用于制造业、农业和水产养殖等多个行业。

• T-Rex Label：T-Rex Label是一款由T-Rex2驱动的先进标注工具，专为应对各行业及场景中的复杂需求而设计。它是希望简化工作流程并轻松创建高质量数据集的理想选择。

• 2024-05-17: Grounding DINO 1.5发布。这是IDEA Research推出的最强大的开放世界目标检测模型系列。只需通过文本提示，即可检测任何物体！

目录 📜

• 介绍视频 🎥
• 新闻 📰
• 目录 📜
• 1. 介绍 📚
  • T-Rex能做什么 📝
• 2. 试用演示 🎮
• 3. API使用示例📚
  • 设置
  • 交互式视觉提示API
  • 通用视觉提示API
  • 自定义视觉提示嵌入API
  • 嵌入推理API
• 4. 使用API的本地Gradio演示🎨
  • 4.1. 设置
  • 4.2. 运行Gradio演示
  • 4.3. 基本操作
• 5. 相关工作
• BibTeX 📚

1. 介绍 📚

目标检测，即在图像中定位和识别物体的能力，是计算机视觉的基石，对自动驾驶、内容审核等应用至关重要。传统目标检测模型的一个显著局限性在于其封闭集特性。这些模型仅在预先确定的类别上进行训练，因此只能识别这些特定类别。训练过程本身也十分繁琐，需要专业知识、大规模数据集以及复杂的模型调优才能达到理想的精度。此外，一旦引入新的物体类别，这些挑战将进一步加剧，整个流程都需重新开始。

T-Rex2通过在一个模型中整合文本和视觉提示，充分发挥了两种模态的优势，从而克服了这些局限。文本与视觉提示的协同作用赋予了T-Rex2强大的零样本能力，使其成为不断变化的目标检测领域中的一款多功能工具。

T-Rex能做什么 📝

T-Rex2非常适合多种实际应用场景，包括但不限于：农业、工业、家畜和野生动物监测、生物学、医学、OCR、零售、电子、交通、物流等领域。T-Rex2主要支持三种主要工作流：交互式视觉提示工作流、通用视觉提示工作流和文本提示工作流。它可以覆盖大多数需要目标检测的应用场景。

2. 试用演示 🎮

我们现在开放T-Rex2的在线演示。请在此处查看演示

3. API使用示例📚

📌 您可在此处获取API访问权限：https://cloud.deepdataspace.com/dashboard/usage。获得API密钥后，您可按照以下示例代码试用T-Rex2：https://github.com/IDEA-Research/T-Rex/tree/trex2/demo_examples

设置

安装API包，并从邮件中获取API令牌。

git clone https://github.com/IDEA-Research/T-Rex.git
cd T-Rex
pip install dds-cloudapi-sdk==0.1.1
pip install -v -e .

交互式视觉提示 API

• 在交互式视觉提示工作流中，用户可以在给定的图像上以框或点的形式提供视觉提示，以指定要检测的对象。

  python demo_examples/interactive_inference.py --token <your_token> 
  

  • 您应该会在 demo_vis/ 目录下看到以下可视化结果：
    

通用视觉提示 API

• 在通用视觉提示工作流中，用户可以在一张参考图像上提供视觉提示，并在另一张图像上进行检测。

  python demo_examples/generic_inference.py --token <your_token> 
  

  • 您应该会在 demo_vis/ 目录下看到以下可视化结果：
    + =

自定义视觉提示嵌入 API

在这个工作流中，您可以使用多张图像为某个对象类别自定义一个视觉嵌入。利用这个嵌入，您可以在任何图像上进行检测。

python demo_examples/customize_embedding.py --token <your_token> 

• 您应该会获得一个以 safetensors 格式保存的视觉提示嵌入下载链接。请将其保存下来，以便用于 embedding_inference。

嵌入式推理 API

借助之前 API 生成的视觉提示嵌入，您可以在任何图像上进行检测。

  python demo_examples/embedding_inference.py --token <your_token> 

4. 使用 API 的本地 Gradio 演示🎨

4.1. 设置

• 如果您尚未安装 T-Rex2 API，请先安装：

- 安装 Gradio 及其他依赖项
```bash
# 安装 Gradio 及其他依赖项
pip install gradio-image-prompter

4.2. 运行 Gradio 演示

python gradio_demo.py --trex2_api_token <your_token>

4.3. 基本操作

• 绘制框：在图像上绘制一个框来指定要检测的对象。按住鼠标左键拖动即可绘制框。
• 绘制点：在图像上绘制一个点来指定要检测的对象。单击鼠标左键即可绘制点。
• 交互式视觉提示：在给定图像上以框或点的形式提供视觉提示，以指定要检测的对象。输入的目标图像和交互式视觉提示图像应为同一张图像。
• 通用视觉提示：在多张参考图像上提供视觉提示，并在另一张图像上进行检测。

5. 相关工作

:fire: 我们发布了 DINOv 的训练与推理代码以及演示链接，该模型能够处理上下文相关的视觉提示，用于开放集和指代性检测与分割。欢迎查看！

6. 许可证

我们采用 IDEA License 1.0 许可协议。

BibTeX 📚

@misc{jiang2024trex2,
      title={T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy}, 
      author={Qing Jiang and Feng Li and Zhaoyang Zeng and Tianhe Ren and Shilong Liu and Lei Zhang},
      year={2024},
      eprint={2403.14610},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

T-Rex2 快速上手指南

T-Rex2 是一款强大的通用物体检测模型，支持文本提示、交互式视觉提示（框/点）以及通用视觉提示（参考图）。它突破了传统检测模型的闭集限制，具备优秀的零样本（Zero-shot）检测能力。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)
• Python: 3.8 或更高版本
• 依赖管理: pip
• 网络环境: 需要能够访问 GitHub 和 DeepDataSpace API 服务

2. 安装步骤

2.1 获取源码

克隆 T-Rex 官方仓库：

git clone https://github.com/IDEA-Research/T-Rex.git
cd T-Rex

2.2 安装依赖

安装 API SDK 包及项目依赖：

pip install dds-cloudapi-sdk==0.1.1
pip install -v -e .

提示: 如果下载速度较慢，可添加国内镜像源加速（例如清华源）： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple dds-cloudapi-sdk==0.1.1 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -v -e .

2.3 获取 API Token

T-Rex2 演示和推理依赖云端 API。

1. 访问 DeepDataSpace Cloud 注册并登录。
2. 获取您的 API Key (Token)。
3. 后续命令中的 <your_token> 请替换为此密钥。

3. 基本使用

以下展示两种最核心的使用方式：命令行脚本调用和本地 Gradio 界面体验。

方式一：命令行脚本调用 (Interactive Visual Prompt)

通过在图像上绘制框或点来指定检测目标。

1. 运行示例脚本：

python demo_examples/interactive_inference.py --token <your_token>

2. 查看结果： 生成的可视化结果将保存在 demo_vis/ 目录下。

方式二：本地 Gradio 交互界面 (推荐新手)

提供一个可视化的 Web 界面，支持鼠标绘制框/点进行实时检测。

1. 安装额外依赖：

pip install gradio-image-prompter

加速提示: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gradio-image-prompter

2. 启动服务：

python gradio_demo.py --trex2_api_token <your_token>

3. 操作说明：
   • 启动后在浏览器打开显示的本地地址（通常为 http://127.0.0.1:7860）。
   • Draw Box: 按住鼠标左键拖动绘制矩形框。
   • Draw Point: 点击鼠标左键绘制关键点。
   • 上传图像并绘制提示后，模型将自动检测并标注目标物体。

其他高级用法

• 通用视觉提示 (Generic Visual Prompt): 使用一张参考图中的物体去检测另一张图中的同类物体。

  python demo_examples/generic_inference.py --token <your_token>
  

• 自定义嵌入 (Custom Embedding): 使用多张图片定制特定类别的视觉嵌入向量。

  python demo_examples/customize_embedding.py --token <your_token>