中文 | English

RT-DETR：DETRs在实时目标检测上超越YOLO系列

---

这是以下论文的官方实现：

• DETRs在实时目标检测上超越YOLO系列
• RT-DETRv2：基于免费工具包的实时检测Transformer改进基线

图

🚀 更新

• [2025.11.18] 发布RT-DETR家族的最新成员：RT-DETRv4：借助视觉基础模型轻松推进实时目标检测。通过利用快速发展的视觉基础模型（VFMs）的能力，我们提升了轻量级检测器的性能，并且在不增加任何额外推理延迟的情况下，显著提高了全尺寸模型的性能。
• [2024.11.28] 添加用于参数和FLOPs统计的PyTorch工具。详见run_profile.py
• [2024.10.10] 为小目标检测添加切片推理支持。#468
• [2024.09.23] 为RTDETR新增✅Regnet和DLA34。
• [2024.08.27] 添加hubconf.py文件以支持PyTorch Hub。
• [2024.08.22] 将✅RT-DETRv2-S的性能提升至48.1 mAP（相比RT-DETR-R18提高+1.6）。
• [2024.07.24] 正式发布✅RT-DETRv2！
• [2024.02.27] 我们的工作已被CVPR 2024接收！
• [2024.01.23] 修复rtdetr_pytorch中与论文在数据增强上的差异 #84。
• [2023.11.07] 根据需求添加PyTorch版✅ rtdetr_r34vd #107, #114。
• [2023.11.05] 升级remap_mscoco_category逻辑，以方便训练自定义数据集，详情请参见训练自定义数据部分。#81。
• [2023.10.23] 添加部署讨论，支持ONNX Runtime、TensorRT、OpenVINO。
• [2023.10.12] 为PyTorch版本添加调优代码，现在您可以基于预训练权重对rtdetr进行调优。
• [2023.09.19] 上传从Paddle版本转换而来的✅PyTorch权重。
• [2023.08.24] 在objects365数据集上发布RT-DETR-R18预训练模型。49.2 mAP和217 FPS。
• [2023.08.22] 上传✅rtdetr_pytorch源代码。欢迎大家使用！
• [2023.08.15] 在objects365数据集上发布RT-DETR-R101预训练模型。56.2 mAP和74 FPS。
• [2023.07.30] 在objects365数据集上发布RT-DETR-R50预训练模型。55.3 mAP和108 FPS。
• [2023.07.28] 修复了一些bug，并添加了一些注释。1, 2。
• [2023.07.13] 上传✅COCO数据集上的训练日志。
• [2023.05.17] 发布RT-DETR-R18、RT-DETR-R34、RT-DETR-R50-m（缩放示例）。
• [2023.04.17] 发布RT-DETR-R50、RT-DETR-R101、RT-DETR-L、RT-DETR-X。

📣 新闻

• RTDETR和RTDETRv2现已在Hugging Face Transformers中上线。#413, #549
• RTDETR现已在ultralytics/ultralytics中上线。

📍 实现

• 🔥 RT-DETRv2
  • Paddle：代码&权重
  • PyTorch：代码&权重
• 🔥 RT-DETR
  • Paddle：代码&权重
  • PyTorch：代码&权重

模型	输入尺寸	数据集	$AP^{val}$	$AP^{val}_{50}$	参数(M)	FLOPs(G)	T4 TensorRT FP16(FPS)
RT-DETR-R18	640	COCO	46.5	63.8	20	60	217
RT-DETR-R34	640	COCO	48.9	66.8	31	92	161
RT-DETR-R50-m	640	COCO	51.3	69.6	36	100	145
RT-DETR-R50	640	COCO	53.1	71.3	42	136	108
RT-DETR-R101	640	COCO	54.3	72.7	76	259	74
RT-DETR-HGNetv2-L	640	COCO	53.0	71.6	32	110	114
RT-DETR-HGNetv2-X	640	COCO	54.8	73.1	67	234	74
RT-DETR-R18	640	COCO + Objects365	49.2	66.6	20	60	217
RT-DETR-R50	640	COCO + Objects365	55.3	73.4	42	136	108
RT-DETR-R101	640	COCO + Objects365	56.2	74.6	76	259	74
RT-DETRv2-S	640	COCO	48.1 (+1.6)	65.1	20	60	217
RT-DETRv2-M*	640	COCO	49.9 (+1.0)	67.5	31	92	161
RT-DETRv2-M	640	COCO	51.9 (+0.6)	69.9	36	100	145
RT-DETRv2-L	640	COCO	53.4 (+0.3)	71.6	42	136	108
RT-DETRv2-X	640	COCO	54.3	72.8 (+0.1)	76	259	74

注释：

• 表格中的COCO + Objects365表示在Objects365上预训练的权重基础上，在COCO数据集上进行微调的模型。

🦄 性能

🏕️ 复杂场景

🌋 困难条件

引用

如果您在工作中使用了 RT-DETR 或 RTDETRv2，请使用以下 BibTeX 条目：

@misc{lv2023detrs,
      title={DETRs 在实时目标检测中超越 YOLO},
      author={Yian Zhao 和 Wenyu Lv 和 Shangliang Xu 和 Jinman Wei 和 Guanzhong Wang 和 Qingqing Dang 和 Yi Liu 和 Jie Chen},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@misc{lv2024rtdetrv2improvedbaselinebagoffreebies,
      title={RT-DETRv2：面向实时检测 Transformer 的改进基线及免费工具包}, 
      author={Wenyu Lv 和 Yian Zhao 和 Qinyao Chang 和 Kui Huang 和 Guanzhong Wang 和 Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2407.17140}, 
}

RT-DETR 快速上手指南

RT-DETR 是百度提出的实时目标检测模型，在保持高推理速度的同时，精度超越了同量级的 YOLO 系列模型。本指南基于官方 PyTorch 实现，帮助开发者快速部署和使用。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04+), Windows, macOS
• Python: 3.8 - 3.10
• GPU: 支持 CUDA 的 NVIDIA 显卡（可选，CPU 亦可运行但速度较慢）

前置依赖

请确保已安装以下基础依赖：

• PyTorch >= 1.8
• torchvision
• opencv-python
• pycocotools (用于 COCO 数据集评估)

国内加速建议：推荐使用清华或阿里镜像源安装 PyTorch 和其他依赖，以提升下载速度。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 或使用国内镜像
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

克隆官方仓库并安装依赖：

# 1. 克隆代码库
git clone https://github.com/lyuwenyu/RT-DETR.git
cd RT-DETR/rtdetr_pytorch

# 2. 安装项目依赖
pip install -r requirements.txt

# 3. (可选) 如果需要使用 COCO 评估指标，安装 pycocotools
pip install pycocotools

注意：本项目包含 RT-DETR 和最新的 RT-DETRv2 版本。上述路径 rtdetr_pytorch 为经典版，若需使用性能更强的 v2 版本，请进入 rtdetrv2_pytorch 目录操作。

3. 基本使用

方式一：使用 Torch Hub (最快捷)

无需下载代码，直接通过 PyTorch Hub 加载预训练模型进行推理。

import torch
import cv2

# 加载预训练模型 (RT-DETR-R50)
model = torch.hub.load('lyuwenyu/RT-DETR', 'rtdetr_r50vd', pretrained=True, device='cuda')
model.eval()

# 准备图像
img_path = 'assets/demo.jpg' # 替换为你的图片路径
img = cv2.imread(img_path)
img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

# 推理
results = model(img_rgb)

# 打印结果
print(results)
# results 包含 boxes, scores, labels 等信息

支持的模型名称包括：rtdetr_r18vd, rtdetr_r34vd, rtdetr_r50vd, rtdetr_r101vd 以及 v2 系列的 rtdetrv2_r18vd, rtdetrv2_r34vd 等。

方式二：本地脚本推理

如果你已经克隆了代码库，可以使用官方提供的推理脚本。

# 单张图片推理
python tools/infer.py -c configs/rtdetr/rtdetr_r50vd_6x_coco.yml \
     -o weights=https://github.com/lyuwenyu/RT-DETR/releases/download/v0.1/rtdetr_r50vd_dec3_6x_coco.pth \
     source=assets/demo.jpg

# 视频推理
python tools/infer.py -c configs/rtdetr/rtdetr_r50vd_6x_coco.yml \
     -o weights=https://github.com/lyuwenyu/RT-DETR/releases/download/v0.1/rtdetr_r50vd_dec3_6x_coco.pth \
     source=0  # 0 代表摄像头，也可替换为视频文件路径

方式三：导出 ONNX/TensorRT (部署用)

RT-DETR 支持导出为 ONNX 格式，以便在 TensorRT、OpenVINO 等框架中加速部署。

# 导出 ONNX 模型
python tools/export_onnx.py -c configs/rtdetr/rtdetr_r50vd_6x_coco.yml \
     -o weights=rtdetr_r50vd_dec3_6x_coco.pth \
     check=True

导出的 .onnx 文件可直接用于后续的边缘端或服务器端高性能部署。