yolo_research
│   pose  
│   └─────   ## 关键点检测任务使用
│   ...    
│   models   ## 存储模型：算子定义和所有模型的yaml结构定义，包含yolov5\yolov7\yolov8  

    └─────   common.py   模型算子定义
             yolo.py     模型结构定义
│   └─────   cls         分类模型结构
│            pose        关键点模型结构
│            segment     分割模型结构
│            detect  v5u_cfg/v7_cfg/v8_cfg    检测模型结构..其余是V5版本以及一些改的参考示例      
│   ....
│   segment
│   └─────   ## 分割任务
|   classify
│   └─────   ## 分类任务
|   tracker
│   └─────   ## 跟踪任务 Fork V8
│   utils
│   └─────   #通用部分代码
|          .
|          .
|            segment   ##分割的数据处理操作部分
|   yolo
│   └─────   v8        ## yolov8 core ,主要包含训练部分和推理使用部分的相关代码
│             └───── .
|            cfg       ## default.yaml 设置所有V8相关参数
|            engine    ## 定义基类结构
|           utils
|            data
|               .
|               .
|       .
|       .    ##其余为检测核心代码和通用部分

 - 2021年在CSDN中介绍过一些范式示例包含注意力、自注意力层等机制早期引入了一些比较有热度的修改，其实在如今图像基础任务表现里，CNN和transformer并不没有明显差距，个人觉得作为学习积累就好。比如swinv1和v2等一些当时流行的论文网络组件，以及同样的NECK、HEAD、LOSS的添加，你可以参考github项目中的yaml结构示例去自己尝试修改模型，就是希望大家能够多思考多积累且自己动手实现，也是我当初文章的本意，而不是只限于一种范式或几种结构，如果遇到问题欢迎分享讨论，具体可以看博客中的[修改建议](https://editor.csdn.net/md/?articleId=126895964）

 - 对于自注意力机制的使用：很多人与CNN相结合使用得到精度提升，个人理解：原因不仅仅是长距离的依赖，早期我们使用固定权重的滤波器提取边缘再到CNN，CNN也许是对应着高通滤波，而self-attention对应于低通滤波，那么相当于对featuremap进行了一次平滑，这样从某种程度上可以解释互补之后的提升；而且transfromer是很难发生过拟合或者说不存在，同时由于增量爆炸和工程开发的现象，使得其并不好训练，但是动态特性确实更具泛化性，常规情况中优先考虑你训练数据集的拟合够不够好，你的模型是否能反映出数据之间的特征特异性，其次扩充构建相应的辅助分支加入特征属性描述。

git clone https://github.com/positive666/yolo_research  # 克隆
cd yolov5_research
pip install -r requirements.txt  # 安装

pip install ultralytics

if you pip install ultralytics,you can run offical command

yolo task=detect    mode=train   data=<data.yaml path>      model=yolov8n.pt        args...
          classify       predict        coco-128.yaml       yolov8n-cls.yaml  args...
          segment        val                                yolov8n-seg.yaml  args...
                         export                             yolov8n.pt        format=onnx  args...

ps: if your model=*.yaml -->scratch else use pretrained models python命令 :

if use this repo ,you need set your data和model路径在cfg/default.yaml

    
    python train_v8.py  --<args>

推理部分和V5、V8的代码兼容 add --v8_det(supprot v8 models)

python detect.py --source 0  # 网络摄像头     --weights <你的模型权重>
                          img.jpg  # 图像
                          vid.mp4  # 视频
                          path/  # 目录
                          'path/*.jpg'  # 全局匹配
                          'https://youtu.be/Zgi9g1ksQHc'  # YouTube
                          'rtsp://example.com/media.mp4'  # RTSP、RTMP、HTTP 流

• “--swin_float” 用于“SwinTransformer_Layer”层，因为“@”不支持fp16，所以可以使用官方yolov7的“Swinv2Block”。
• “--aux_ota_loss”仅适用于辅助头。例如“models/detect/v7_cfg/training/yolov7x6x.yaml, (P6模型)”，你可以创建带有辅助头的模型。
• hyps文件中的“ota_loss”，ota_loss默认=0

• 运行yolov7-P5模型训练以及yolov5系列模型的训练，无论是从头开始还是微调，都需要一个权重。

python train.py  --data data/coco128.yaml  --cfg models/detect/yolov5s_decoupled.yaml   

python train.py  --cfg  models/detect/v7_cfg/training/yolov7.yaml  --weights yolov7.pt  --data （自定义数据集） --hyp data/hyps/hyp.scratch-v7.custom.yaml	

• 运行yolov7辅助模型训练，你的模型必须是P6模型！

python train.py  --cfg  models/detect/v7_cfg/training/yolov7w6.yaml --imgsz 1280  --weights ‘yolov7-w6_training.pt’  --data （自定义数据集）  --aux_ota_loss  --hyp data/hyps/hyp.scratch-v7.custom.yaml

• 训练完成后，在yaml结构下，你的初始权重xxx. PT会变成经过训练的yolov7xxx.pt，并附有重参数化脚本的具体说明。然后使用部署模型加载你的训练权重，通过更改索引和结构来对模型进行重参数化。

   python reparameterization.py  --weights <yolov7.pt,yolov7e6e.pt.....>  --name <模型名称 > --save_file   models/v7_cfg/deploy  --cfg <模型.yaml>

yolov5_research
│   pose  
│   └─────(关键点检测代码 )
│   ...   
│
coco_kpts(你的数据yaml路径名称 )
│   images
│   annotations/**.json
|   labels
│   └─────train2017
│       │       └───
|       |       └───
|       |       '
|       |       .
│       └─val2017
|               └───
|               └───
|               .
|               .
|    train2017.txt
|    val2017.txt

我们在一台配备4张A100显卡的机器上，使用ImageNet数据集对YOLOv5-cls分类模型进行了90轮训练；同时，我们也用相同的默认训练设置训练了ResNet和EfficientNet模型作为对比。我们将所有模型导出为ONNX FP32格式用于CPU速度测试，并导出为TensorRT FP16格式用于GPU速度测试。所有的速度测试都在Google Colab Pro 上进行，以方便复现。

训练

YOLOv5 分类训练支持通过 --data 参数自动下载 MNIST、Fashion-MNIST、CIFAR10、CIFAR100、Imagenette、Imagewoof 和 ImageNet 数据集。例如，要在 MNIST 数据集上开始训练，可以使用 --data mnist。

# 单 GPU
python classify/train.py --model yolov5s-cls.pt --data cifar100 --epochs 5 --img 224 --batch 128

# 多 GPU DDP
python -m torch.distributed.run --nproc_per_node 4 --master_port 1 classify/train.py --model yolov5s-cls.pt --data imagenet --epochs 5 --img 224 --device 0,1,2,3

验证

在 ImageNet-1k 数据集上验证 YOLOv5m-cls 的准确率：

bash data/scripts/get_imagenet.sh --val  # 下载 ImageNet 验证集（6.3G，50000 张图像）
python classify/val.py --weights yolov5m-cls.pt --data ../datasets/imagenet --img 224  # 验证

预测

使用预训练的 YOLOv5s-cls.pt 对 bus.jpg 进行预测：

python classify/predict.py --weights yolov5s-cls.pt --data data/images/bus.jpg

model = torch.hub.load('ultralytics/yolov5', 'custom', 'yolov5s-cls.pt')  # 从 PyTorch Hub 加载

导出

将一组训练好的 YOLOv5s-cls、ResNet 和 EfficientNet 模型导出为 ONNX 和 TensorRT 格式：

python export.py --weights yolov5s-cls.pt resnet50.pt efficientnet_b0.pt --include onnx engine --img 224

• 2022/7/13 同步更新加入了yolov7的P6模型訓練部分代碼，p6是需要aux的所以需要添加Loss部分計算，代碼和CSDN持续更新中,由于我删除了P6模型里的Reorg操作其实就说FOcus，所以需要重新训练，如果你想使用V7原始权重，你只需要在YAML里改回去

• 2022/7/7 依旧全网首发 ：以目前仓库的魔改版V5为基准同步了YOLOV7的核心改动，代码风格是最新的，后续会持续完善优化，完美融合V7，后续博客争取更新第一时间！

• 2022/5/23 合并更新了YOLOV5仓库的最新版本，作者代码有点小问题就是数据集会重复下载，这部分我没就没合并他的更新，引入了新的算子，看来他也在探索实验

• 2022/3/26 测试下解耦训练结果/更新GAM注意力层代码：按照论文示意在大模型中使用分组卷积降低FLOPs,同步简单实验下，关于实验在闲暇之余都会慢慢完善的。 以small模型，在Visdrone数据下的简单验证：

  Model	mAP@.5	mAP@.5:95	Parameters(M)	GFLOPs
  YOLOv5s	0.351	0.194	7.2	16.5
  YOLOv5s+GAM	0.35	0.194	22.2	36.9
  YOLOv5s_decoup	0.367	0.203	7.1	17.2
  YOLOv5s_GAM_group	0.353	0.192	11	21.4

• 2022/3/26 1.修复了一些常规的问题BUG并合并了V5作者的最新代码更新，大概包含之前缺少了一些可学习参数和代码优化,如添加了swintransformerV2.0的相对位置编码加入优化器等。 2.目前看来GAM换用组卷积效果有待商榷，后续进一步整理消融实验总结。

• 2022/3/16 对上传的GAM注意力层进行了简单的实验，yolov5s+GAM在Visdrone数据集上的结果举例参考，后续的话其实难点在于轻量化，探究大模型的骨干估计只有大厂研究资源能有成本去做。

• 2022/3/5 近期会整理一些去年的实验数据/、使用swin2的骨干，超参数需要调试一下，首先要稍微减低学习率，（实测SGD）；也可以把SWIN层作为注意力插件训练，这个和以往的操作类似，不再赘述了 需要开启--swin_float 命令参数，因为点积不被cuda的half支持，而优化器的问题，那么问题基本就是较多的swin block 堆积导致的增量更新。同时伴随着GPU的开销。

• 2022/3.1 （不完整更新,供参考，怕忙断更，所以先放出部分修改，目前还在动态调试中）按照SWintransformerV2.0 的改进点：修改了NORM层的位置/attention将dot换成scaled cosine self-attention，待更新的优化部分：1.序列窗口注意力计算，降低显存开销 2、训练优化器

• 2022/2.28 添加了一个Swintransformer的Backbone和yaml示意结构，很多人把SWIN还像之前做成注意力层，但是其实swin设计是为了摒弃CNN去和NLP一统，而且精髓在于控制计算复杂度，其实backbone的全替换也许更值得尝试 ，内存开销和结构设计待优化

• 2022/2.22 忙里抽闲：更新了今天的yolov5的工程修复，修改了解耦头的代码风格，直接yaml选择参考使用，服务器回滚了代码。SWIN算子在，YAML文件丢失了，找时间从新写一个再上传，太忙看更新可能优先GIT，等有空博客细致归纳下

• 2022/2.6 ASFF使用的BUG已经修复;近期更新Swintransformer代码，简单说明下程序上其实是两种改法：1.类似算子层的修改，这个比较简单 2、全部替换成Swintransformer，这个对于整个程序存在一定的代码修改地方，稍微复杂点。

• 2022/1.9 补充一些注意力算子GAM，原理后续CSDN说明，修复BUG

• 2021/11.3 合并最新的YOLOV5的改动， 替换了CSPBOTTLENNECK的LeakRELUw为SLIU，其余全是代码和工程规范修改

• 2021.10.25 修复BUG，恢复EIOU

• 2021.10.13 更新合并YOLOV5v6.0版本，改进点：第一时间的更新解析可参考CSND博客

• 2021.9.25 将自注意力位置编码设置成可选项，默认取消，CBAM不收敛——将激活函数改回Sigmoid

• 2021.6.25 添加BIFPN结构包含P5/P6层，增大开销但是对于一些任务是能够提点的

• 2021.6 Botnet transformer 算子块引入于Backbone底层

• 2021.2.10 全网首发的YOLOV5魔改，ASFF检测头封装加入、注意力机制CBAM、CooRD、等注意力算子引入，并介绍了通用修改方式

工程部署：该仓库只属于研究探索，但是工程部署讲究简单高效、故可以参考我的Deepstream SDK改的项目，集合了通用检测、人脸识别、OCR三个项目，高性能的部署AI框架开发逻辑，这个项目是我2021年整理并开源的，代码还未规范，但程序是没问题的。 DS_5.1&&Tensorrt7+ ：https://github.com/positive666/Deepstream_Project

 1.英伟达提供的Deepstream &&Tensorrt，应用于流媒体处理，因为做过业务的都知道，推理性能不等于程序运行性能，核心除了模型的本身剪枝量化之外，涉及到了对数据输入的处理，这里的核心问题是如何提高GPU的利用率，那么最直接的就是GPU编解码.
 2.目前嵌入式部署可能大多采用剪枝通道压缩模型的流程，在结合一些框架去进行引擎推理，推荐Yolov5nano或者nanodetplus,(工程上主流是通道裁剪，替换如C3的BOLOCK，你可以在仔细比对YOLOV5的迭代。还有就是如何使用SGD炼丹的经验了)
 还有就是deepstream的普及，网上很多剪枝版本我也看了值得学习，但是工程不只在于学习，而在于成本和结果。
 3.x86和Jeston都可以部署，既有一站式解决方案，我觉得工程和研究应用是完全不同的操作思路，精简高效达到目的.deepstream全做了并完成降维打击 ，当然也需要一定的综合开发能力。

• https://github.com/ultralytics/ultralytics
• https://github.com/WongKinYiu/yolov7
• https://github.com/ultralytics/yolov5
• https://github.com/TexasInstruments/edgeai-yolov5/tree/yolo-pose
• https://github.com/ChristophReich1996/Swin-Transformer-V2
• https://github.com/positive666/Deepstream_Project