RF-DETR：实时 SOTA 检测与分割

RF-DETR 是由 Roboflow 开发的用于目标检测和实例分割的实时 Transformer 架构。它基于 DINOv2 视觉 Transformer 主干网络，在 Microsoft COCO 和 RF100-VL 数据集上实现了最先进的精度与延迟权衡。

RF-DETR 使用 DINOv2 视觉 Transformer 作为主干，并通过单一、一致的 API 同时支持目标检测和实例分割。开源的 rfdetr 包以及 Apache 许可的模型均采用 Apache 2.0 许可证发布，而 Plus 组件（rfdetr_plus，包括 RF-DETR-XL/2XL 检测模型）则采用 PML 1.0 许可证。

https://github.com/user-attachments/assets/add23fd1-266f-4538-8809-d7dd5767e8e6

安装

要安装 RF-DETR，请在 Python>=3.10 环境中使用 pip 安装 rfdetr 包。

pip install rfdetr

pip install https://github.com/roboflow/rf-detr/archive/refs/heads/develop.zip

基准测试

RF-DETR 在目标检测和实例分割任务中均取得了当前最佳性能，并在 Microsoft COCO 和 RF100-VL 数据集上进行了基准测试。以下图表和表格将 RF-DETR 与其他顶级实时模型在检测和分割任务中的精度与延迟方面进行了对比。所有延迟数据均是在 NVIDIA T4 上使用 TensorRT、FP16 和批大小 1 测得的。有关完整的基准测试方法和可复现性细节，请参阅 roboflow/sab。

检测

分割

运行模型

检测

RF-DETR 提供了多种模型尺寸，从 Nano 到 2XLarge。要使用不同尺寸的模型，请将下面代码片段中的类名替换为表格中的其他类。

import supervision as sv
from rfdetr import RFDETRMedium
from rfdetr.assets.coco_classes import COCO_CLASSES

model = RFDETRMedium()

detections = model.predict("https://media.roboflow.com/dog.jpg", threshold=0.5)

labels = [f"{COCO_CLASSES[class_id]}" for class_id in detections.class_id]

annotated_image = sv.BoxAnnotator().annotate(detections.data["source_image"], detections)
annotated_image = sv.LabelAnnotator().annotate(annotated_image, detections, labels)

import requests
import supervision as sv
from PIL import Image
from inference import get_model

model = get_model("rfdetr-medium")

image = Image.open(requests.get("https://media.roboflow.com/dog.jpg", stream=True).raw)
predictions = model.infer(image, confidence=0.5)[0]
detections = sv.Detections.from_inference(predictions)

annotated_image = sv.BoxAnnotator().annotate(image, detections)
annotated_image = sv.LabelAnnotator().annotate(annotated_image, detections)

△ 需要 rfdetr_plus 扩展：pip install rfdetr[plus]。详情请参阅 许可证。

分割

RF-DETR 支持从 Nano 到 2XLarge 不同模型尺寸的实例分割。要使用其他模型尺寸，只需将下面代码片段中的类名替换为表格中的另一个类即可。

import supervision as sv
from rfdetr import RFDETRSegMedium
from rfdetr.assets.coco_classes import COCO_CLASSES

model = RFDETRSegMedium()

detections = model.predict("https://media.roboflow.com/dog.jpg", threshold=0.5)

labels = [f"{COCO_CLASSES[class_id]}" for class_id in detections.class_id]

annotated_image = sv.MaskAnnotator().annotate(detections.data["source_image"], detections)
annotated_image = sv.LabelAnnotator().annotate(annotated_image, detections, labels)

import requests
import supervision as sv
from PIL import Image
from inference import get_model

model = get_model("rfdetr-seg-medium")

image = Image.open(requests.get("https://media.roboflow.com/dog.jpg", stream=True).raw)
predictions = model.infer(image, confidence=0.5)[0]
detections = sv.Detections.from_inference(predictions)

annotated_image = sv.MaskAnnotator().annotate(image, detections)
annotated_image = sv.LabelAnnotator().annotate(annotated_image, detections)

训练模型

RF-DETR 同时支持目标检测和实例分割的训练。您可以在 Google Colab 或直接在 Roboflow 平台上进行训练。下方提供了一个分步视频微调教程。

文档

访问我们的 文档网站，了解更多关于如何使用 RF-DETR 的信息。

许可证

许可证按组件划分：

• 开源的 rfdetr 包以及采用 Apache 许可证的模型权重，均受 Apache License 2.0 许可证保护。详情请参阅 LICENSE。
• 此外，包括 rfdetr_plus 扩展以及 RF-DETR-XL / RF-DETR-2XL 目标检测模型在内的组件，则采用 PML 1.0 许可证。

致谢

我们的工作建立在 LW-DETR、DINOv2 和 Deformable DETR 的基础上。感谢这些论文的作者们所做出的杰出贡献！

引用

如果您认为我们的工作对您的研究有所帮助，请考虑引用以下 BibTeX 条目。

@misc{rf-detr,
    title={RF-DETR: 实时检测 Transformer 的神经架构搜索},
    author={Isaac Robinson、Peter Robicheaux、Matvei Popov、Deva Ramanan 和 Neehar Peri},
    year={2025},
    eprint={2511.09554},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    url={https://arxiv.org/abs/2511.09554},
}

贡献

我们欢迎并感激所有贡献！如果您发现任何问题或错误、有任何疑问，或者希望提出新功能建议，请 提交 issue 或 pull request。通过分享您的想法和改进，您将帮助使 RF-DETR 更加完善，惠及所有人。

RF-DETR 快速上手指南

RF-DETR 是由 Roboflow 开发的实时 Transformer 架构模型，专为目标检测和实例分割任务设计。它基于 DINOv2 视觉骨干网络，在 Microsoft COCO 和 RF100-VL 数据集上实现了业界领先的精度与延迟平衡。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: >= 3.10 (必须)
• 硬件建议: 推荐使用 NVIDIA GPU 以获得最佳推理速度（支持 TensorRT 加速），但 CPU 也可运行。
• 前置依赖: 建议先更新 pip 并安装基础深度学习依赖（如 torch），rfdetr 包会自动处理大部分依赖关系。

国内开发者提示：如果遇到下载速度慢的问题，建议使用国内镜像源安装依赖。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple rfdetr

安装步骤

方式一：通过 PyPI 安装（推荐）

这是最稳定且简单的安装方式，适用于大多数生产环境。

pip install rfdetr

方式二：从源码安装（开发版）

如果您需要体验尚未发布的最新功能或修复，可以从 GitHub 源码安装。注意：此版本可能不如正式版稳定。

pip install https://github.com/roboflow/rf-detr/archive/refs/heads/develop.zip

基本使用

RF-DETR 提供了统一的 API 接口，支持多种模型尺寸（从 Nano 到 2XLarge）。以下是最简单的目标检测使用示例。

1. 运行目标检测

此示例加载预训练的 RFDETRMedium 模型并对图片进行推理。

import supervision as sv
from rfdetr import RFDETRMedium
from rfdetr.assets.coco_classes import COCO_CLASSES

# 初始化模型 (可选参数: device="cuda" 或 "cpu")
model = RFDETRMedium()

# 执行预测 (支持本地路径或 URL)
detections = model.predict("https://media.roboflow.com/dog.jpg")

# 打印检测结果
print(detections)

# (可选) 使用 supervision 库可视化结果
# 需先安装: pip install supervision
image = sv.Image.from_path("https://media.roboflow.com/dog.jpg")
annotated_image = sv.BoxAnnotator().annotate(scene=image.copy(), detections=detections)
sv.plot_image(annotated_image)

2. 切换模型尺寸

您可以根据对速度和精度的需求，轻松切换不同的模型版本。只需更改导入的类名即可：

示例：使用轻量级 Nano 模型

from rfdetr import RFDETRNano

model = RFDETRNano()
detections = model.predict("image.jpg")

3. 实例分割

RF-DETR 同样支持实例分割任务，使用方式与检测类似，只需调用对应的 Seg 模型类（如 RFDETRSegSmall）。

from rfdetr import RFDETRSegSmall

model = RFDETRSegSmall()
# predict 方法返回包含掩码 (mask) 信息的检测结果
detections = model.predict("image.jpg")