深度学习PyTorch模板

一些经典骨干CNN、数据增强、PyTorch损失函数、注意力机制、可视化及常用算法的PyTorch实现。

需求

· torch, torch-vision

· torchsummary

· 其他必要依赖

使用方法

在“train_baseline.py”中提供了一个训练脚本，参数定义在“args.py”中。

autoaug: 数据增强与CNN正则化

- StochDepth
- 标签平滑
- Cutout
- DropBlock
- Mixup
- Manifold Mixup
- ShakeDrop
- cutmix

dataset_loader: 各类数据集加载器

from dataloder.scoliosis_dataloder import ScoliosisDataset
from dataloder.facial_attraction_dataloder import FacialAttractionDataset
from dataloder.fa_and_sco_dataloder import ScoandFaDataset
from dataloder.scofaNshot_dataloder import ScoandFaNshotDataset
from dataloder.age_dataloder import MegaAsiaAgeDataset
def load_dataset(data_config):
    if data_config.dataset == 'cifar10':
        training_transform=training_transforms()
        if data_config.autoaug:
            print('自动增强数据！')
            training_transform.transforms.insert(0, Augmentation(fa_reduced_cifar10()))
        train_dataset = torchvision.datasets.CIFAR10(root=data_config.data_path,
                                                     train=True,
                                                     transform=training_transform,
                                                     download=True)
        val_dataset = torchvision.datasets.CIFAR10(root=data_config.data_path,
                                                   train=False,
                                                   transform=validation_transforms(),
                                                   download=True)
        return train_dataset,val_dataset
    elif data_config.dataset == 'cifar100':
        train_dataset = torchvision.datasets.CIFAR100(root=data_config.data_path,
                                                     train=True,
                                                     transform=training_transforms(),
                                                     download=True)
        val_dataset = torchvision.datasets.CIFAR100(root=data_config.data_path,
                                                   train=False,
                                                   transform=validation_transforms(),
                                                   download=True)
        return train_dataset, val_dataset

deployment: PyTorch模型部署模式

提供了两种PyTorch模型的部署方式，一种是Web部署，另一种是C++部署。

将训练好的权重文件存放在`flash_ Deployment`文件夹中。

然后修改‘server.py’中的路径。

调用‘client.Py’进行使用。

models: 各种经典深度学习模型

经典网络

- **AlexNet**
- **VGG**
- **ResNet** 
- **ResNext** 
- **InceptionV1**
- **InceptionV2和InceptionV3**
- **InceptionV4和Inception-ResNet**
- **GoogleNet**
- **EfficienNet**
- **MNasNet**
- **DPN**

注意力网络

- **SE Attention**
- **External Attention**
- **Self Attention**
- **SK Attention**
- **CBAM Attention**
- **BAM Attention**
- **ECA Attention**
- **DANet Attention**
- **Pyramid Split Attention(PSA)**
- **EMSA Attention**
- **A2Attention**
- **Non-Local Attention**
- **CoAtNet**
- **CoordAttention**
- **HaloAttention**
- **MobileViTAttention**
- **MUSEAttention**  
- **OutlookAttention**
- **ParNetAttention**
- **ParallelPolarizedSelfAttention**
- **residual_attention**
- **S2Attention**
- **SpatialGroupEnhance Attention**
- **ShuffleAttention**
- **GFNet Attention**
- **TripletAttention**
- **UFOAttention**
- **VIPAttention**

轻量级网络

- **MobileNets:**
- **MobileNetV2：**
- **MobileNetV3：**
- **ShuffleNet：**
- **ShuffleNet V2:**
- **SqueezeNet**
- **Xception**
- **MixNet**
- **GhostNet**

GAN

- **辅助分类器GAN**
- **对抗自编码器**
- **BEGAN**
- **BicycleGAN**
- **边界搜索GAN**
- **聚类GAN**
- **条件GAN**
- **上下文条件GAN**
- **上下文编码器**
- **耦合GAN**
- **CycleGAN**
- **深度卷积GAN**
- **DiscoGAN**
- **DRAGAN**
- **DualGAN**
- **基于能量的GAN**
- **增强型超分辨率GAN**  
- **最小二乘GAN**
- **InfoGAN**
- **Pix2Pix**
- **相对论GAN**
- **半监督GAN**
- **StarGAN**
- **Wasserstein GAN**
- **Wasserstein GAN GP**
- **Wasserstein GAN DIV**

目标检测网络

- **SSD:**
- **YOLO:**
- **YOLOv2:**
- **YOLOv3:**
- **FCOS:**
- **FPN:**
- **RetinaNet**
- **以点表示目标:**
- **FSAF:**
- **CenterNet**
- **FoveaBox**

语义分割

- **FCN**
- **Fast-SCNN**
- **LEDNet:**
- **LRNNet**
- **FisheyeMODNet:**

实例分割

- **PolarMask** 

人脸检测与识别

- **FaceBoxes**
- **LFFD**
- **VarGFaceNet**

人体姿态估计

- **堆叠沙漏网络**
- **简单基线**
- **LPN**

pytorch_loss: 训练用损失函数

- 标签平滑
- amsoftmax
- focal-loss
- 双重focal-loss 
- triplet-loss
- giou-loss
- affinity-loss
- pc_softmax_cross_entropy
- ohem-loss(基于线性硬挖掘的softmax损失)
- 大间隔softmax(bmvc2019)
- lovasz-softmax-loss
- dice-loss(包括广义软骰子损失和批次软骰子损失)

tf_to_pytorch: TensorFlow到PyTorch转换

该目录用于将TensorFlow权重转换为PyTorch格式。由于是快速拼凑而成，代码并不十分优雅（仅供参考），但功能上可以满足需求。后续会对其进行重构。

TorchCAM: 类激活映射

在PyTorch中简单地利用卷积层的类别特定激活的一种方法。

- CAM
- ScoreCAM
- SSCAM
- ISCAM
- GradCAM
- Grad-CAM++
- Smooth Grad-CAM++
- XGradCAM
- LayerCAM

注

• 后续可能会添加更多模块。

• 在实现过程中，我阅读了大量的代码和文章，并参考了许多资料。 其中一些已添加版权声明，而另一些则记不清主要参考来源。如有侵权，请联系删除。

• 我撰写了一些博客（均为中文），用于介绍本项目中实现的模型：

  • torch模板使用说明
  • 论文综述：注意力机制
  • 论文综述：特征可视化
  • 论文综述：数据增强&网络正则化
  • 论文综述：轻量型网络

• 我的部分参考仓库：

  • https://github.com/xmu-xiaoma666/External-Attention-pytorch
  • https://github.com/eriklindernoren/PyTorch-GAN
  • https://www.zhihu.com/people/ZhugeKongan
  • https://github.com/ZhugeKongan/Attention-mechanism-implementation
  • https://github.com/ZhugeKongan/-DataAug-and-NetRegularization

结尾语

目前，本项目整理的内容确实还不够全面。随着阅读量的增加，我们将继续完善该项目。欢迎大家点赞支持。如果文中存在表述错误或代码实现不当之处，也欢迎指出~

torch-template-for-deep-learning 快速上手指南

本工具是一个基于 PyTorch 的深度学习模板库，集成了经典骨干网络、数据增强策略、多种损失函数、注意力机制、可视化方法及常见算法（如 GAN、目标检测、分割等），旨在帮助开发者快速搭建和实验深度学习模型。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / Windows / macOS
• Python 版本：建议 Python 3.7+
• 核心依赖：
  • torch (PyTorch)
  • torchvision
  • torchsummary
  • 其他常规科学计算库 (如 numpy, pillow 等)

国内加速建议：推荐使用清华或阿里镜像源安装依赖，以提升下载速度。

安装步骤

1. 克隆项目代码

   git clone https://github.com/ZhugeKongan/torch-template-for-deep-learning.git
   cd torch-template-for-deep-learning
   

2. 安装依赖包

   使用 pip 安装基础依赖（推荐配置国内镜像源）：

   pip install torch torchvision torchsummary -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   如果项目根目录下有 requirements.txt 文件，也可一键安装所有必要包：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

本项目提供了标准化的训练脚本和参数配置模块，最简单的使用流程如下：

1. 配置训练参数

所有的训练参数（如数据集路径、模型选择、超参数等）均在 args.py 文件中定义。您可以根据需求直接修改该文件，或通过命令行传递参数。

2. 启动训练

使用提供的 train_baseline.py 脚本开始训练。以下是一个典型的运行示例（假设使用 CIFAR-10 数据集和 ResNet 模型）：

python train_baseline.py --dataset cifar10 --model resnet18 --data_path ./data

• --dataset: 指定数据集名称（支持 cifar10, cifar100 及自定义数据集）。
• --model: 指定骨干网络（支持 AlexNet, VGG, ResNet, MobileNet, EfficientNet 等）。
• --autoaug: 若需启用自动数据增强（如 Cutout, Mixup, Label Smoothing 等），可添加此标志。

3. 代码集成示例

如果您希望在自定义代码中加载数据集并使用增强策略，可以参考以下模式：

from dataloder.scoliosis_dataloder import ScoliosisDataset
# 引入其他所需的数据集加载器

def load_dataset(data_config):
    if data_config.dataset == 'cifar10':
        training_transform = training_transforms()
        # 启用自动数据增强
        if data_config.autoaug:
            print('auto Augmentation the data !')
            training_transform.transforms.insert(0, Augmentation(fa_reduced_cifar10()))
        
        train_dataset = torchvision.datasets.CIFAR10(root=data_config.data_path,
                                                     train=True,
                                                     transform=training_transform,
                                                     download=True)
        val_dataset = torchvision.datasets.CIFAR10(root=data_config.data_path,
                                                   train=False,
                                                   transform=validation_transforms(),
                                                   download=True)
        return train_dataset, val_dataset
    # 其他数据集逻辑...

4. 模型部署

训练完成后，将权重文件存入 flash_Deployment 文件夹。

• Web 部署：修改 server.py 中的权重路径，运行服务器。
• C++ 部署：利用提供的接口进行调用。

---

注：本项目包含丰富的预实现模型（如各类 Attention 机制、GAN 变体、YOLO 系列等），具体模型名称可在 models 目录中查阅并直接在 args.py 中调用。