英语 | 简体中文

简介

欢迎来到 DAMO-YOLO！这是一种由阿里巴巴达摩院数据分析与智能实验室的TinyML团队开发的快速且精确的目标检测方法。它在性能上超越了当前最先进的YOLO系列模型。DAMO-YOLO基于YOLO进行了扩展，并引入了一些新技术，包括神经架构搜索（NAS）骨干网络、高效的重参数化广义FPN（RepGFPN）、带有AlignedOTA标签分配的轻量级头部以及蒸馏增强等。更多详细信息，请参阅我们的 Arxiv报告。此外，这里不仅提供强大的模型，还包含高效的训练策略以及从训练到部署的完整工具链。

更新

• [2023年4月12日：我们发布了DAMO-YOLO v0.3.1！]
  • 新增701类别的DAMO-YOLO-S模型，覆盖更多应用场景，并可作为高质量的预训练模型，以提升下游任务的性能。
  • 升级了DAMO-YOLO-Nano系列模型，仅需1.56/3.69/6.04 FLOPs即可达到32.3/38.2/40.5 mAP，并在Intel CPU上以4.08/5.05/6.69毫秒的延迟实时运行。
  • 新增DAMO-YOLO-L模型，在T4 GPU上仅需7.95毫秒延迟即可达到51.9 mAP。
• [2023年3月13日：我们发布了DAMO-YOLO v0.3.0！]
  • 发布DAMO-YOLO-Nano，仅需3.02 GFLOPs即可达到35.1 mAP。
  • 升级了优化器构建器和配置文件，用户现在可以使用PyTorch支持的任何优化器。
  • 优化了数据加载流程和训练参数，显著提升了DAMO-YOLO各模型的性能，例如DAMO-YOLO-T/S/M的mAP分别从43.0/46.8/50.0提升至43.6/47.7/50.2。
• [2023年2月15日：第三届反无人机挑战赛基线模型。]
  • 欢迎参加CVPR2023上的第三届反无人机挑战赛。该挑战赛提供了由DAMO-YOLO训练的基线模型，可在DamoYolo_Anti-UAV-23_S中找到。
• [2023年1月7日：我们发布了DAMO-YOLO v0.2.1！]
  • 增加了TensorRT Int8量化教程，在仅损失0.3%精度的情况下实现了19%的速度提升。
  • 增加了通用演示工具，支持基于TensorRT/Onnx/Torch的视频/图像/摄像头推理。
  • 增加了更多行业应用模型，包括人体检测、安全帽检测、口罩检测以及香烟检测。
  • 增加了第三方资源，包括DAMO-YOLO代码解读、自定义数据集微调实战示例等。
• [2022年12月15日：我们发布了DAMO-YOLO v0.1.1！]
  • 增加了详细的自定义数据集微调教程。
  • 解决了因无标注数据导致的卡顿问题（如 ISSUE#30）。欢迎随时联系我们，我们24小时在线为您服务。

在线演示

• DAMO-YOLO-T、DAMO-YOLO-S、DAMO-YOLO-M已集成至ModelScope平台。现在可以在ModelScope上进行训练！快来体验DAMO-YOLO吧，ModelScope将为您提供免费的GPU资源。

模型库

通用模型

• 我们报告了模型在 COCO2017 验证集上的 mAP，使用多类别 NMS。
• 本表中的延迟是在不进行后处理（NMS）的情况下测量的。
• * 表示通过蒸馏训练的模型。
• 我们以 S 为教师模型来蒸馏 T，以 M 为教师模型来蒸馏 S，以 L 为教师模型来蒸馏 M，而 L 则是通过自身蒸馏得到的。

轻量级模型

• 我们报告了模型在COCO2017验证集上的mAP，使用多类别NMS。
• 表中的延迟是在不进行后处理的情况下测量的，遵循picodet的标准。
• 延迟评估基于OpenVINO-2022.3.0，使用的命令如下：

    # onnx导出，启用--benchmark以忽略后处理
    python tools/converter.py -f configs/damoyolo_tinynasL18_Ns.py -c ../damoyolo_tinynasL18_Ns.pth --batch_size 1  --img_size 416 --benchmark
    # 模型转换
    mo --input_model damoyolo_tinynasL18_Ns.onnx --data_type FP16
    # 延迟基准测试
    ./benchmark_app -m damoyolo_tinynasL18_Ns.xml -i ./assets/dog.jpg -api sync -d CPU -b 1 -hint latency 
  

701类DAMO-YOLO模型

我们提供了具有701个类别的DAMO-YOLO-S模型，用于通用目标检测。该模型已在包含COCO、Objects365和OpenImage在内的大型数据集上进行训练。此模型也可用作下游任务的预训练模型，使您能够轻松获得更好的性能。

• 注：可下载的模型是基于701类数据集的预训练模型。我们展示了VisDrone的结果，以证明我们的预训练模型可以提升下游任务的性能。

快速入门

git clone https://github.com/tinyvision/damo-yolo.git
cd DAMO-YOLO/
conda create -n DAMO-YOLO python=3.7 -y
conda activate DAMO-YOLO
conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=10.2 -c pytorch
pip install -r requirements.txt
export PYTHONPATH=$PWD:$PYTHONPATH

pip install cython;
pip install git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI # 对于Linux
pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI # 对于Windows

# 使用torch引擎处理图片
python tools/demo.py image -f ./configs/damoyolo_tinynasL25_S.py --engine ./damoyolo_tinynasL25_S.pth --conf 0.6 --infer_size 640 640 --device cuda --path ./assets/dog.jpg

# 使用onnx引擎处理视频
python tools/demo.py video -f ./configs/damoyolo_tinynasL25_S.py --engine ./damoyolo_tinynasL25_S.onnx --conf 0.6 --infer_size 640 640 --device cuda --path your_video.mp4

# 使用tensorRT引擎处理摄像头
python tools/demo.py camera -f ./configs/damoyolo_tinynasL25_S.py --engine ./damoyolo_tinynasL25_S.trt --conf 0.6 --infer_size 640 640 --device cuda --camid 0

cd <DAMO-YOLO Home>
ln -s /path/to/your/coco ./datasets/coco

python -m torch.distributed.launch --nproc_per_node=8 tools/train.py -f configs/damoyolo_tinynasL25_S.py

python -m torch.distributed.launch --nproc_per_node=8 tools/eval.py -f configs/damoyolo_tinynasL25_S.py --ckpt /path/to/your/damoyolo_tinynasL25_S.pth

structure = self.read_structure('tinynas_customize.txt')
TinyNAS = { 'name'='TinyNAS_res', # ResNet-like Tinynas骨干
            'out_indices': (2,4,5)}
TinyNAS = { 'name'='TinyNAS_csp', # CSPNet-like Tinynas骨干
            'out_indices': (2,3,4)}

部署

pip install onnx==1.8.1
pip install onnxruntime==1.8.0
pip install onnx-simplifier==0.3.5

wget https://developer.download.nvidia.com/compute/cuda/10.2/Prod/local_installers/cuda_10.2.89_440.33.01_linux.run
sudo sh cuda_10.2.89_440.33.01_linux.run
export PATH=$PATH:/usr/local/cuda-10.2/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-10.2/lib64
source ~/.bashrc

sudo cp cuda/include/* /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

cd TensorRT-7.2.1.6/python
pip install tensorrt-7.2.1.6-cp37-none-linux_x86_64.whl
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:TensorRT-7.2.1.6/lib

pip install pycuda==2022.1

# ONNX导出
python tools/converter.py -f configs/damoyolo_tinynasL25_S.py -c damoyolo_tinynasL25_S.pth --batch_size 1 --img_size 640

# TensorRT导出
python tools/converter.py -f configs/damoyolo_tinynasL25_S.py -c damoyolo_tinynasL25_S.pth --batch_size 1 --img_size 640 --trt --end2end --trt_eval

python tools/trt_eval.py -f configs/damoyolo_tinynasL25_S.py -trt deploy/damoyolo_tinynasL25_S_end2end_fp16_bs1.trt --batch_size 1 --img_size 640 --end2end

# ONNX推理
python tools/demo.py image -f ./configs/damoyolo_tinynasL25_S.py --engine ./damoyolo_tinynasL25_S.onnx --conf 0.6 --infer_size 640 640 --device cuda --path ./assets/dog.jpg

# TensorRT推理
python tools/demo.py image -f ./configs/damoyolo_tinynasL25_S.py --engine ./deploy/damoyolo_tinynasL25_S_end2end_fp16_bs1.trt --conf 0.6 --infer_size 640 640 --device cuda --path ./assets/dog.jpg --end2end

行业应用模型：

我们提供了适用于实际场景的DAMO-YOLO模型，如下所示。更强大的模型即将推出，敬请期待。

人体检测	安全帽检测	头部检测	智能手机检测
口罩检测	香烟检测	交通标志检测	NFL头盔检测

第三方资源

为了促进DAMO-YOLO用户之间的交流，我们在本节收集了一些第三方资源。如果您有关于DAMO-YOLO的原创内容，请随时联系xianzhe.xxz@alibaba-inc.com。

• DAMO-YOLO概述：幻灯片（中文 | 英文)，视频（中文 | 英文）。
• DAMO-YOLO代码解读
• 自定义数据集微调实战示例

引用DAMO-YOLO

如果您在研究中使用了DAMO-YOLO，请使用以下BibTeX条目引用我们的工作：

 @article{damoyolo,
   title={DAMO-YOLO: A Report on Real-Time Object Detection Design},
   author={Xianzhe Xu, Yiqi Jiang, Weihua Chen, Yilun Huang, Yuan Zhang and Xiuyu Sun},
   journal={arXiv preprint arXiv:2211.15444v2},
   year={2022},
 }

 @inproceedings{sun2022mae,
   title={Mae-det: Revisiting maximum entropy principle in zero-shot nas for efficient object detection},
   author={Sun, Zhenhong and Lin, Ming and Sun, Xiuyu and Tan, Zhiyu and Li, Hao and Jin, Rong},
   booktitle={International Conference on Machine Learning},
   pages={20810--20826},
   year={2022},
   organization={PMLR}
 }

@inproceedings{jiang2022giraffedet,
  title={GiraffeDet: A Heavy-Neck Paradigm for Object Detection},
  author={yiqi jiang and Zhiyu Tan and Junyan Wang and Xiuyu Sun and Ming Lin and Hao Li},
  booktitle={International Conference on Learning Representations},
  year={2022},
}

DAMO-YOLO 快速上手指南

DAMO-YOLO 是由阿里巴巴达摩院 TinyML 团队开发的高性能目标检测算法。它在 YOLO 系列基础上引入了神经架构搜索（NAS）主干网络、重参数化广义特征金字塔（RepGFPN）以及蒸馏增强等技术，在速度与精度上均达到了业界领先水平。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 Windows (WSL2)。
• Python: 版本 >= 3.7。
• PyTorch: 版本 >= 1.8 (建议 1.10+)。
• CUDA: 建议使用 CUDA 11.0+ 以获得最佳推理速度（支持 TensorRT）。
• 其他依赖: opencv-python, onnx, onnxruntime 等。

提示：本项目已针对国内开发者优化，模型权重下载支持阿里云镜像，训练和部署工具链完整。

2. 安装步骤

2.1 克隆项目代码

使用 git 克隆仓库到本地：

git clone https://github.com/tinyvision/DAMO-YOLO.git
cd DAMO-YOLO

2.2 安装依赖

推荐使用 pip 安装所需依赖。为了加速下载，建议使用国内镜像源（如清华源或阿里源）：

# 使用 pip 安装基础依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 如果需要使用 TensorRT 加速，请确保已安装对应版本的 tensorrt 包
# pip install tensorrt

注意：如果您的环境中尚未安装 PyTorch，请先访问 PyTorch 官网 根据您的 CUDA 版本安装对应的 PyTorch。

3. 基本使用

3.1 下载预训练模型

DAMO-YOLO 提供了多种尺寸的模型（T/S/M/L/Nano）。您可以直接从阿里云镜像下载预训练权重。以下以 DAMO-YOLO-T 为例：

mkdir weights
cd weights
# 下载 DAMO-YOLO-T 模型 (mAP 43.6)
wget https://idstcv.oss-cn-zhangjiakou.aliyuncs.com/DAMO-YOLO/release_model/clean_model_0317/damoyolo_tinynasL20_T_436.pth
cd ..

3.2 快速推理演示

项目提供了通用的演示工具，支持图片、视频和摄像头推理，后端可切换为 Torch、ONNX 或 TensorRT。

对单张图片进行推理：

python tools/demo.py image \
  --config configs/damoyolo_tinynasL20_T.py \
  --weights weights/damoyolo_tinynasL20_T_436.pth \
  --path assets/demo.jpg \
  --device cuda \
  --save_result

• --config: 模型配置文件路径。
• --weights: 下载的权重文件路径。
• --path: 输入图片、视频文件或摄像头 ID（如 0）。
• --device: 运行设备 (cuda 或 cpu)。

运行后，检测结果将保存在 outputs/ 目录下，并在终端输出检测耗时。

3.3 导出 ONNX 模型（可选）

为了方便部署到其他平台，可以将模型导出为 ONNX 格式：

python tools/export_onnx.py \
  --config configs/damoyolo_tinynasL20_T.py \
  --weights weights/damoyolo_tinynasL20_T_436.pth \
  --output_path weights/damoyolo_t.onnx

更多高级用法（如自定义数据集训练、TensorRT 量化部署）请参考项目根目录下的详细文档或 ModelScope 在线体验页面。