最新动态 -- YOLOE：实时万物感知

请查看我们在 YOLOE 上的新发布。

• YOLOE 代码：https://github.com/THU-MIG/yoloe
• YOLOE 论文：https://arxiv.org/abs/2503.07465

在开放文本提示条件下，YOLOE（我们提出的方法）与 YOLO-Worldv2 在性能、训练成本和推理效率方面的对比。

YOLOE(ye) 是一种高度 高效、统一 且 开放 的目标检测与分割模型，能够在不同提示机制下实现类似人眼的实时万物感知，支持 文本、视觉输入 和 无提示范式 等多种方式，并且相比封闭集 YOLO 模型，具有 零推理和迁移开销。

摘要

目标检测和分割在计算机视觉应用中被广泛使用，然而传统的 YOLO 系列等模型虽然高效准确，却受限于预定义的类别，在开放场景中的适应性较差。近年来，一些开放集方法通过文本提示、视觉线索或无提示范式来克服这一局限，但往往因计算需求高或部署复杂而难以兼顾性能与效率。在本工作中，我们提出了 YOLOE，它将检测与分割任务整合到一个高效的单一模型中，能够跨多种开放提示机制实现万物实时感知。针对文本提示，我们提出了可重参化区域-文本对齐策略（RepRTA），该策略通过一个可重参化的轻量级辅助网络优化预训练的文本嵌入，并以零推理和迁移开销提升视觉-文本对齐效果。对于视觉提示，我们提出了语义激活视觉提示编码器（SAVPE），它采用解耦的语义分支和激活分支，以极低的复杂度带来更优的视觉特征表示和更高的精度。而在无提示场景下，我们引入了懒惰区域-提示对比策略（LRPC），该策略利用内置的大词汇表和专用嵌入来识别所有物体，避免了对昂贵语言模型的依赖。大量实验表明，YOLOE 具有卓越的零样本性能和迁移能力，同时具备高效的推理速度和较低的训练成本。值得注意的是，在 LVIS 数据集上，YOLOE-v8-S 仅需 $3\times$ 更少的训练成本和 $1.4\times$ 更快的推理速度，便能以 3.5 AP 的优势超越 YOLO-Worldv2-S。当迁移到 COCO 数据集时，YOLOE-v8-L 甚至比封闭集 YOLOv8-L 提升了 0.6 $AP^b$ 和 0.4 $AP^m$，且训练时间仅为后者的 $4\times$ 左右。

YOLOv10：实时端到端目标检测

YOLOv10 的官方 PyTorch 实现。NeurIPS 2024。

与其他方法在延迟-精度（左）和大小-精度（右）权衡方面的对比。

YOLOv10：实时端到端目标检测。
Ao Wang, Hui Chen, Lihao Liu, Kai Chen, Zijia Lin, Jungong Han 和 Guiguang Ding

摘要

近年来，YOLO 系列因其在计算成本与检测性能之间的有效平衡，已成为实时目标检测领域的主流范式。研究人员对 YOLO 的架构设计、优化目标、数据增强策略等进行了深入探索，并取得了显著进展。然而，其后处理阶段依赖非极大值抑制（NMS），这不仅阻碍了 YOLO 的端到端部署，还增加了推理延迟。此外，YOLO 各组件的设计缺乏全面细致的审视，导致明显的计算冗余，限制了模型的能力，使其效率未能达到最优，仍有较大的性能提升空间。在本工作中，我们从后处理和模型架构两方面进一步突破 YOLO 的性能-效率边界。为此，我们首次提出了无 NMS 训练的一致性双重分配方法，实现了竞争性的检测性能与低推理延迟的兼得。同时，我们引入了一种以整体效率-精度为导向的 YOLO 模型设计策略，从效率和精度两个维度全面优化 YOLO 的各个组件，从而大幅降低计算开销并提升模型能力。我们的努力成果是一款面向实时端到端目标检测的新一代 YOLO 系列，命名为 YOLOv10。大量实验表明，YOLOv10 在不同规模的模型上均达到了当前最先进的性能和效率水平。例如，在 COCO 数据集上，我们的 YOLOv10-S 在 AP 接近 RT-DETR-R18 的情况下，速度提升了 1.8 倍，同时参数量和 FLOPs 分别减少了 2.8 倍。与 YOLOv9-C 相比，YOLOv10-B 在保持相同性能的前提下，延迟降低了 46%，参数量减少了 25%。

注释

• 2024年5月31日：请使用导出格式进行基准测试。在未导出的格式中，例如 PyTorch 格式，YOLOv10 的速度会受到偏差，因为 v10Detect 中不必要的 cv2 和 cv3 操作会在推理过程中被执行。
• 2024年5月30日：我们提供了一些澄清和建议，用于使用 YOLOv10 检测较小物体或远处物体。感谢 SkalskiP!
• 2024年5月27日：我们已更新了Hugging Face 上的检查点，添加了类别名称，以便于使用。

更新 🔥

• 2024年6月1日：感谢 ErlanggaYudiPradana 实现与 C++ | OpenVINO | OpenCV 的集成。
• 2024年6月1日：感谢 NielsRogge 和 AK 在 HuggingFace Hub 上托管模型！
• 2024年5月31日：由 youjiang 构建了 yolov10-jetson Docker 镜像。
• 2024年5月31日：感谢 mohamedsamirx 实现与 BoTSORT、DeepOCSORT、OCSORT、HybridSORT、ByteTrack、StrongSORT 使用 BoxMOT 库 的集成。
• 2024年5月31日：感谢 kaylorchen 实现与 rk3588 的集成。
• 2024年5月30日：感谢 eaidova 实现与 OpenVINO™ 的集成。
• 2024年5月29日：添加了在本地运行模型的 Gradio 演示。感谢 AK！
• 2024年5月27日：感谢 sujanshresstha 实现与 DeepSORT 的集成。
• 2024年5月26日：感谢 CVHub520 将其集成到 X-AnyLabeling 中。
• 2024年5月26日：感谢 DanielSarmiento04 实现与 c++ | ONNX | OPENCV 的集成。
• 2024年5月25日：添加了 Transformers.js 演示 以及 ONNX 权重（yolov10n/s/m/b/l/x）。感谢 xenova！
• 2024年5月25日：添加了 Colab 演示、HuggingFace 演示 和 HuggingFace 模型页面。感谢 SkalskiP 和 kadirnar！

性能

COCO

模型	测试尺寸	参数量	FLOPs	APval	延迟
YOLOv10-N	640	2.3M	6.7G	38.5%	1.84ms
YOLOv10-S	640	7.2M	21.6G	46.3%	2.49ms
YOLOv10-M	640	15.4M	59.1G	51.1%	4.74ms
YOLOv10-B	640	19.1M	92.0G	52.5%	5.74ms
YOLOv10-L	640	24.4M	120.3G	53.2%	7.28ms
YOLOv10-X	640	29.5M	160.4G	54.4%	10.70ms

安装

建议使用 conda 虚拟环境。

conda create -n yolov10 python=3.9
conda activate yolov10
pip install -r requirements.txt
pip install -e .

演示

python app.py
# 请访问 http://127.0.0.1:7860

验证

yolov10n yolov10s yolov10m yolov10b yolov10l yolov10x

yolo val model=jameslahm/yolov10{n/s/m/b/l/x} data=coco.yaml batch=256

或者

from ultralytics import YOLOv10

model = YOLOv10.from_pretrained('jameslahm/yolov10{n/s/m/b/l/x}')
# 或者
# wget https://github.com/THU-MIG/yolov10/releases/download/v1.1/yolov10{n/s/m/b/l/x}.pt
model = YOLOv10('yolov10{n/s/m/b/l/x}.pt')

model.val(data='coco.yaml', batch=256)

训练

yolo detect train data=coco.yaml model=yolov10n/s/m/b/l/x.yaml epochs=500 batch=256 imgsz=640 device=0,1,2,3,4,5,6,7

或者

from ultralytics import YOLOv10

model = YOLOv10()
# 如果你想用预训练权重对模型进行微调，可以按如下方式加载预训练权重：
# model = YOLOv10.from_pretrained('jameslahm/yolov10{n/s/m/b/l/x}')
# 或者
# wget https://github.com/THU-MIG/yolov10/releases/download/v1.1/yolov10{n/s/m/b/l/x}.pt
# model = YOLOv10('yolov10{n/s/m/b/l/x}.pt')

model.train(data='coco.yaml', epochs=500, batch=256, imgsz=640)

推送到 🤗 Hub

你也可以选择将微调后的模型作为公开或私有模型推送到 Hugging Face Hub：

# 假设你已经微调了一个用于作物检测的模型
model.push_to_hub("<your-hf-username-or-organization/yolov10-finetuned-crop-detection")

# 如果你不希望所有人都能看到你的模型，还可以传递 `private=True`
model.push_to_hub("<your-hf-username-or-organization/yolov10-finetuned-crop-detection", private=True)

预测

请注意，可以通过设置较低的置信度阈值来检测更小的物体或远处的物体。详情请参阅 这里。

yolo predict model=jameslahm/yolov10{n/s/m/b/l/x}

或者

from ultralytics import YOLOv10

model = YOLOv10.from_pretrained('jameslahm/yolov10{n/s/m/b/l/x}')
# 或者
# wget https://github.com/THU-MIG/yolov10/releases/download/v1.1/yolov10{n/s/m/b/l/x}.pt
model = YOLOv10('yolov10{n/s/m/b/l/x}.pt')

model.predict()

导出

# 端到端 ONNX
yolo export model=jameslahm/yolov10{n/s/m/b/l/x} format=onnx opset=13 simplify
# 使用 ONNX 进行预测
yolo predict model=yolov10n/s/m/b/l/x.onnx

# 端到端 TensorRT
yolo export model=jameslahm/yolov10{n/s/m/b/l/x} format=engine half=True simplify opset=13 workspace=16
# 或者
trtexec --onnx=yolov10n/s/m/b/l/x.onnx --saveEngine=yolov10n/s/m/b/l/x.engine --fp16
# 使用 TensorRT 进行预测
yolo predict model=yolov10n/s/m/b/l/x.engine

或者

from ultralytics import YOLOv10

model = YOLOv10.from_pretrained('jameslahm/yolov10{n/s/m/b/l/x}')
# 或者
# wget https://github.com/THU-MIG/yolov10/releases/download/v1.1/yolov10{n/s/m/b/l/x}.pt
model = YOLOv10('yolov10{n/s/m/b/l/x}.pt')

model.export(...)

致谢

该代码库基于 ultralytics 和 RT-DETR 构建。

感谢这些优秀的实现！

引用

如果我们的代码或模型对您的工作有所帮助，请引用我们的论文：

@article{wang2024yolov10,
  title={YOLOv10：实时端到端目标检测},
  author={王傲、陈辉、刘立豪、陈凯、林子嘉、韩俊功、丁贵光},
  journal={arXiv 预印本 arXiv:2405.14458},
  year={2024}
}

YOLOv10 快速上手指南

YOLOv10 是清华大学团队提出的新一代实时端到端目标检测模型（NeurIPS 2024）。它摒弃了传统的非极大值抑制（NMS）后处理，通过一致的双重分配策略实现了真正的端到端部署，在保持高精度的同时显著降低了推理延迟和计算冗余。

环境准备

• 操作系统: Linux (推荐), Windows, macOS
• Python 版本: 3.9 (官方推荐)
• 硬件要求: NVIDIA GPU (支持 CUDA)，或 CPU (仅用于推理/测试，速度较慢)
• 前置依赖:
  • PyTorch (建议 1.8+)
  • CUDA Toolkit (根据显卡驱动版本安装)
  • Git

提示：国内用户建议使用清华源或阿里源加速 Python 包下载。

安装步骤

推荐使用 conda 创建独立的虚拟环境以避免依赖冲突。

1. 创建并激活虚拟环境

   conda create -n yolov10 python=3.9
   conda activate yolov10
   

2. 克隆项目代码

   git clone https://github.com/THU-MIG/yolov10.git
   cd yolov10
   

3. 安装依赖库

   • 通用安装（默认使用 PyPI 源）：

     pip install -r requirements.txt
     pip install -e .
     

   • 国内加速安装（推荐中国开发者使用清华源）：

     pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
     pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple
     

基本使用

1. 启动本地演示界面 (Gradio Demo)

这是最简单的体验方式，启动后会在本地浏览器中提供可视化的检测界面。

python app.py

启动成功后，请在浏览器访问：http://127.0.0.1:7860

2. 模型验证与推理

官方提供了预训练模型（N/S/M/B/L/X 六个版本），可直接从 Hugging Face 加载。以下是在命令行进行简单验证的示例逻辑（需参考 validation.py 或自行编写推理脚本）：

import torch
from ultralytics import YOLO

# 加载预训练模型 (自动从 Hugging Face 下载，国内网络可能需要代理或配置镜像)
# 可选模型：yolov10n.pt, yolov10s.pt, yolov10m.pt, yolov10b.pt, yolov10l.pt, yolov10x.pt
model = YOLO('yolov10n.pt') 

# 执行推理
results = model('path/to/image.jpg')

# 显示结果
results[0].show()

性能提示：在进行基准测试（Benchmark）时，请务必使用导出后的格式（如 ONNX, TensorRT, OpenVINO），因为 PyTorch 原生格式中包含不必要的 cv2/cv3 操作，会导致测得的延迟偏高，无法反映 YOLOv10 真实的端到端加速优势。