SimpleCVReproduction

本仓库列出了推荐的模型。为了简化初学者的学习过程，我们提供了运行过的模型注释、可直接阅读的代码、文档齐全的代码以及一系列简单的代码片段。该项目旨在提供易于理解的简化版模型文件。欢迎在 Issues 栏目中提出易于学习的库的建议。项目中的大部分内容均来自 GitHub，不得用于商业用途。如涉及侵权，请联系作者删除。

将感兴趣/推荐的模型也放在这个库中，以供学习。由于好多库从头开始学习难度太大，在这里提供了笔者的部分注释，其中大部分都是跑过的模型、准备读的代码、已经读过的代码笔记、以及开发的simple系列简单代码、常用代码段等。

本项目致力于提供简化版本的，便于理解的模型文件。

如果有推荐的便于初学者学习的库，也欢迎在issue中提出和补充。

本项目大部分内容是来源于Github，不会用做商业用途，如有侵权，请联系笔者删除。

目录

• 即插即用模块&注意力模块
• 项目推荐
• 致谢
• 贡献

即插即用模块&注意力模块

原项目已经迁移至新的地址：Awesome-Attention-Mechanism-in-cv

主要内容包括:

• 计算机视觉领域中注意力模块。
• 计算机视觉中即插即用模块。code
• Vision Transformer系列工作。

更多介绍：

• 我们是如何结合注意力机制改进YOLOv3进行目标检测? Code

• 如何在YOLOv3中加入注意力模块or即插即用模块

• 神经网络加上注意力机制，精度反而下降，为什么会这样呢？

• CNN、Transformer、MLP架构经验性分析

• CV中的注意力机制之ShuffleAttention

• CV中的注意力机制之并联版的CBAM-BAM模块

• CV中的注意力机制之SKNet-SENet的提升版

• CV中的注意力机制之简单而有效的CBAM模块

• CV中的注意力机制之SENet中的SE模块

• CV中的注意力机制之语义分割中的scSE模块

• CV中的注意力机制之Non-Local Network的理解与实现

• CV中的注意力机制之融合Non-Local和SENet的GCNet

• CV中的注意力机制之BiSeNet中的FFM模块与ARM模块

项目推荐

项目	介绍	链接
CenterNet	简化版本的CenterNet目标检测算法(第三方实现)	link
SmallObjectAugmentation	针对小目标进行数据增强库,在笔者数据集效果不理想	link
DarkLabel	专门用于DarkLabel软件转化的系列脚本	link
Latex/latex_algo	用latex写的伪代码示例	link
MLP	MLP-Mixer,ResMLP,RepMLP简单源码	link
NAS	感兴趣的神经网络结构搜索算法	link
Plug-and-play Module	即插即用模块	link
52RL	参加DataWhale深度强化学习课程代码 code	link
Vision Transformer	最经典的ViT实现, 训练代码在code	link
captcha-CTC-loss	CTC loss+ LSTM	link
cifarTrick	原先收集的部分Trick更多Trick在Tricks	link
deep_sort	官方实现的DeepSort算法	link
deep_sort_yolov3_pytorch	笔者自己实现和改进的DeepSort算法	link
easy-receptive-fields	感受野计算，分析，特征图可视化	link
fine_grained_baseline	细粒度识别baseline，Bilinear Pooling操作	link
flask-yolo	flask配合yolo算法实现网页	link
kalman	卡尔曼滤波实现与测试	link
libfacedetection.train	人脸检测训练代码	link
opencv-mot	使用Opencv实现多目标跟踪	link
pandoc-starter	Pandoc是Markdown转化器，很方便	link
pytorch-commen-code	常用的pytorch代码片段	link
siamese-triplet	孪生网络+Triplet Loss实现	link
simple-triple-loss	笔者自己实现的triplet loss	link
simple_keypoint	[推荐] 笔者极简代码实现关键点识别，提供根据heatmap进行识别的方法	link
tikz_cnn	使用latex绘制CNN图	link
tsne	tsne可视化数据集	link
tools	voc2coco脚本，yolo anchor聚类脚本	link
tiny_classifier	超级简单的分类代码+focal loss使用	link
yolov3-6	第六次release版本，属于老版本yolo实现	link

致谢

@zhongqiu1245 补充的borderDet中的BAM模块,补充了FPT

@1187697147 补充的context-gating模块

@cmsfw-github 指出了simple_keypoint中的bug

@1187697147 建议更新了AFF和iAFF模块源码

贡献

欢迎在issue中提出补充推荐的项目。

欢迎关注“GiantPandaCV”公众号以及“神经网络架构搜索”公众号查看相关博客。

SimpleCVReproduction 快速上手指南

SimpleCVReproduction 是一个面向初学者的计算机视觉开源项目，提供了大量带有详细注释的模型代码、即插即用模块（如注意力机制）以及常用代码片段。本项目旨在降低学习门槛，帮助用户快速理解并复现经典 CV 算法。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 18.04/20.04) 或 Windows (WSL2 推荐)
• Python 版本：Python 3.6 - 3.9
• 核心依赖：
  • PyTorch >= 1.7.0
  • torchvision
  • OpenCV-Python (opencv-python)
  • NumPy
  • Matplotlib (用于可视化)

前置检查： 请确保已安装 CUDA 驱动（如需 GPU 加速），并验证 PyTorch 是否正确识别 GPU。

安装步骤

1. 克隆项目

使用 Git 将仓库克隆到本地：

git clone https://github.com/pprp/SimpleCVReproduction.git
cd SimpleCVReproduction

国内加速建议：如果访问 GitHub 较慢，可使用 Gitee 镜像（如有）或通过代理加速，或直接下载 ZIP 包解压。

2. 安装依赖

项目包含多个子模块，建议根据具体需要安装的子目录创建虚拟环境。以下是安装通用依赖的命令：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install opencv-python numpy matplotlib scipy pandas

国内镜像源推荐：建议使用清华源或阿里源加速安装：

pip install torch torchvision torchaudio opencv-python numpy matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 模块说明

本项目为代码合集，不同功能位于不同文件夹下。例如：

• Plug-and-play module/：包含各种注意力机制（SE, CBAM, Non-Local 等）。
• VisionTransformer/：ViT 系列模型实现。
• simple_keypoint/：极简关键点检测示例。
• tools/：包含数据集格式转换（VOC2COCO）和 Anchor 聚类脚本。

无需全局安装整个项目为 Python 包，直接读取对应文件夹下的 .py 文件即可运行或集成。

基本使用

本项目的核心用法是阅读代码和复用模块。以下以在现有模型中插入 SE (Squeeze-and-Excitation) 注意力模块为例。

示例：在 CNN 中集成 SE 模块

假设你有一个基础的卷积块，想要加入 SE 注意力机制以提升性能。

1. 定位代码： 进入 Plug-and-play module 目录，找到对应的 SE 模块实现文件（通常命名为 SENet.py 或在整合文件中）。

2. 复制模块代码： 将 SE 模块的类定义复制到你的模型代码中，或者直接导入（如果配置了路径）。

   import torch
   import torch.nn as nn
   
   class SEBlock(nn.Module):
       def __init__(self, channel, reduction=16):
           super(SEBlock, self).__init__()
           self.avg_pool = nn.AdaptiveAvgPool2d(1)
           self.fc = nn.Sequential(
               nn.Linear(channel, channel // reduction, bias=False),
               nn.ReLU(inplace=True),
               nn.Linear(channel // reduction, channel, bias=False),
               nn.Sigmoid()
           )
   
       def forward(self, x):
           b, c, _, _ = x.size()
           y = self.avg_pool(x).view(b, c)
           y = self.fc(y).view(b, c, 1, 1)
           return x * y.expand_as(x)
   

3. 集成到模型： 在你的网络结构初始化部分实例化该模块，并在 forward 函数中调用。

   class MySimpleCNN(nn.Module):
       def __init__(self):
           super(MySimpleCNN, self).__init__()
           self.conv1 = nn.Conv2d(3, 64, kernel_size=3, padding=1)
           # 实例化 SE 模块，输入通道数为 64
           self.se = SEBlock(channel=64) 
           self.relu = nn.ReLU(inplace=True)
   
       def forward(self, x):
           x = self.conv1(x)
           x = self.se(x)  # 插入注意力模块
           x = self.relu(x)
           return x
   

4. 运行测试： 创建一个简单的输入张量进行测试，确保维度匹配且无报错。

   if __name__ == "__main__":
       model = MySimpleCNN()
       input_tensor = torch.randn(1, 3, 224, 224) # Batch=1, Channel=3, H=224, W=224
       output = model(input_tensor)
       print(f"Input shape: {input_tensor.shape}")
       print(f"Output shape: {output.shape}")
   

其他常用场景

• 数据集处理：运行 tools/voc2coco.py 将 VOC 格式标注转换为 COCO 格式。
• 可视化分析：使用 tsne/ 目录下的脚本对模型提取的特征进行 t-SNE 可视化。
• 学习 Transformer：直接运行 VisionTransformer/ 下的训练脚本来学习 ViT 的基础流程。

建议开发者根据 README 中的目录结构，直接进入感兴趣的子文件夹阅读带注释的源码，这是本项目最高效的学习方式。