OmDet-Turbo

[论文 📄] [HuggingFace 模型 🗂️] [ModelScope 模型 🗂️]

快速且准确的开放词汇端到端目标检测

---

🗓️ 更新

• 2026年3月12日：我们很高兴地宣布，我们的模型现已在ModelScope上发布！
• 2024年9月26日：OmDet-Turbo 已集成到 Transformers 4.45.0 版本中。代码可在这里找到，Hugging Face 模型可在这里获取。
• 2024年7月5日：我们全新的开源项目，OmAget：用于解决复杂任务的多模态智能体框架，现已上线！！！此外，OmDet 已无缝集成为其内部的 OVD 工具。欢迎深入了解我们的创新多模态智能体框架。
• 2024年6月24日：关于将 OmDet-Turbo 转换为 ONNX 的指南
• 2024年3月25日：发布了推理代码和一个预训练的 OmDet-Turbo-Tiny 模型。
• 2024年3月12日：创建了 Github 开源项目

---

🔗 相关工作

如果您对我们的研究感兴趣，欢迎您探索我们其他精彩的项目。

🔆 如何评估检测的泛化能力？全面的开放词汇检测基准(AAAI24)  🏠Github 仓库

🔆 OmDet：基于多模态检测网络的大规模视觉-语言多数据集预训练(IET 计算机视觉)

---

📖 简介

本仓库是 OmDet-Turbo 的官方 PyTorch 实现，它是一种基于 Transformer 的快速开放词汇目标检测模型。

⭐️亮点

1. OmDet-Turbo 是一种基于 Transformer 的实时开放词汇检测器，兼具强大的 OVD 能力与快速的推理速度。该模型解决了开放词汇场景下高效检测的难题，同时保持了较高的检测性能。
2. 我们引入了 高效融合头，这是一个快速的多模态融合模块，旨在减轻编码器的计算负担，并缩短 ROI 头部的耗时。
3. OmDet-Turbo-Base 模型在 ODinW 和 OVDEval 数据集上实现了最先进的零样本性能，AP 分别达到 30.1 和 26.86。
4. 在 COCO val2017 数据集上，OmDetTurbo-Base 在 A100 GPU 上的推理速度可达 100.2 FPS。

更多详情，请参阅我们的论文 具有高效融合头的实时 Transformer 基础开放词汇检测。

---

⚡️ 推理速度

小型号各组件的推理速度对比。

---

🛠️ 安装方法

请按照安装说明设置 OmDet-Turbo 的运行环境。

---

🚀 使用方法

本地推理

1. 下载我们的预训练模型以及 CLIP 检查点。
2. 创建一个名为 resources 的文件夹，将下载的模型放入该文件夹。
3. 运行 run_demo.py，预测结果图像将保存在 ./outputs 文件夹中。

作为 API 服务器运行

1. 下载我们的预训练模型以及 CLIP 检查点。
2. 创建一个名为 resources 的文件夹，将下载的模型放入该文件夹。
3. 运行 run_wsgi.py，API 服务器将在 http://host_ip:8000/inf_predict 启动，您可以通过访问 http://host_ip:8000/docs 来试用。

我们在使用 run_demo.py 进行推理时已添加了语言缓存。更多细节，请打开并查看 run_demo.py 脚本。

---

⚙️ 如何导出 ONNX 模型

1. 将 OmDet-Turbo_tiny_SWIN_T.yaml 中的 OmDetV2Turbo 替换为 OmDetV2TurboInfer。
2. 运行 export.py，即可导出 omdet.onnx 文件。

在上述示例中，ONNX 模型未包含后处理步骤，且所有输入尺寸均为固定值。您可以根据需要添加更多的后处理步骤或调整输入尺寸。

---

📦 模型库

COCO 和 LVIS 数据集上的性能均在零样本设置下进行评估。

模型	骨干网络	预训练数据	COCO	LVIS	FPS (pytorch/trt)	权重
OmDet-Turbo-Tiny	Swin-T	O365,GoldG	42.5	30.3	21.5/140.0	权重

---

📝 主要结果

---

引用

如果您使用了我们的项目，请考虑引用我们的论文：

@article{zhao2024real,
  title={具有高效融合头的实时 Transformer 基础开放词汇检测},
  author={Zhao, Tiancheng and Liu, Peng and He, Xuan and Zhang, Lu and Lee, Kyusong},
  journal={arXiv 预印本 arXiv:2403.06892},
  year={2024}
}

@article{zhao2024omdet,
  title={OmDet：基于多模态检测网络的大规模视觉-语言多数据集预训练},
  author={Zhao, Tiancheng and Liu, Peng and Lee, Kyusong},
  journal={IET 计算机视觉},
  year={2024},
  publisher={Wiley Online Library}
}

OmDet-Turbo 快速上手指南

OmDet-Turbo 是一款基于 Transformer 的实时开放词汇（Open-Vocabulary）目标检测模型。它结合了强大的检测能力与极快的推理速度，支持在未见过的类别上进行零样本检测。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（推荐 A100/V100/3090 等以获得最佳 FPS）
• 前置依赖:
  • PyTorch (建议 1.10+)
  • Transformers >= 4.45.0 (OmDet-Turbo 已集成至此版本)
  • CLIP 模型权重 (ViT-B-16)

提示：该项目已正式集成到 Hugging Face transformers 库中，同时也提供了 ModelScope（魔搭社区）镜像，国内开发者可优先使用 ModelScope 下载模型以加速体验。

安装步骤

1. 创建虚拟环境并安装基础依赖

python -m venv omdet-env
source omdet-env/bin/activate  # Windows 用户使用: omdet-env\Scripts\activate

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers>=4.45.0
pip install opencv-python pillow

2. 获取源代码

克隆官方仓库：

git clone https://github.com/om-ai-lab/OmDet.git
cd OmDet

3. 下载预训练模型

您可以选择从 Hugging Face 或 ModelScope 下载模型。将下载的模型文件放入项目根目录下的 resources 文件夹中。

所需文件：

1. OmDet-Turbo 预训练权重
2. CLIP 权重 (ViT-B-16.pt)

下载链接 (任选其一)：

• ModelScope (国内推荐): omdet-turbo-swin-tiny-hf
• Hugging Face: OmDet-Turbo_tiny_SWIN_T
• CLIP 权重: ViT-B-16.pt

整理目录结构：

mkdir resources
# 将下载好的 .bin/.pt 等模型文件移动到此文件夹
mv <downloaded_model_files> resources/

基本使用

方式一：本地脚本推理 (最简单)

运行官方提供的演示脚本，模型会自动加载 resources 目录下的权重，并对示例图片进行检测，结果保存至 ./outputs 目录。

python run_demo.py

说明：该脚本已内置语言缓存机制以优化推理速度。您可以编辑 run_demo.py 来修改输入图片或检测类别。

方式二：启动 API 服务

如果您需要将模型部署为后端服务，可以运行以下命令启动 WSGI 服务器：

python run_wsgi.py

服务启动后：

• 预测接口: http://host_ip:8000/inf_predict
• 在线调试文档: http://host_ip:8000/docs (Swagger UI)

进阶：导出 ONNX 模型

如需在生产环境中部署（如使用 TensorRT 加速），可按以下步骤导出 ONNX 模型：

1. 修改配置文件 OmDet-Turbo_tiny_SWIN_T.yaml，将模型类型 OmDetV2Turbo 替换为 OmDetV2TurboInfer。
2. 执行导出脚本：

python export.py

执行成功后，将在当前目录生成 omdet.onnx 文件。 (注意：默认导出的 ONNX 模型不包含后处理逻辑，且输入尺寸固定，可根据需求自行调整)