精彩的 CIFAR 动物世界

状态：归档（最终测试使用 PyTorch 1.7，且已不再维护。我建议您使用由 FAIR 提供支持的 pycls，这是一个简单而灵活的图像分类代码库。）

本仓库包含基于以下论文的多种 CNN 架构及改进方法的 PyTorch 代码，希望这些实现与结果能为您的研究提供帮助！

• 架构
  • (Lenet) LeNet-5，卷积神经网络
  • (AlexNet) ImageNet 分类：深度卷积神经网络
  • (VGG) 用于大规模图像识别的超深卷积神经网络
  • (ResNet) 用于图像识别的深度残差学习
  • (PreresNet) 深度残差网络中的恒等映射
  • (ResNeXt) 用于深层神经网络的聚合残差变换
  • (DenseNet) 密集连接的卷积网络
  • (SENet) 挤压与激活网络
  • (BAM) BAM：瓶颈注意力模块
  • (CBAM) CBAM：卷积块注意力模块
  • (Genet) Gather-Excite：在卷积神经网络中挖掘特征上下文
  • (SKNet) SKNet：选择性核网络
• 正则化
  • (Shake-Shake) Shake-Shake 正则化
  • (Cutout) 通过 Cutout 改进卷积神经网络的正则化
  • (MixUp) MixUp：超越经验风险最小化
• 学习率调度器
  • (Cosine Learning Rate) SGDR：带预热重启的随机梯度下降
  • (HTD Learning Rate) 带有双曲正切衰减的分类随机梯度下降

需求与使用说明

需求

• Python（>=3.6）
• PyTorch（>=1.1.0）
• TensorBoard（>=1.4.0）（用于 可视化）
• 其他依赖项（pyyaml、easydict）

pip install -r requirements.txt

使用说明

只需运行命令即可开始训练：

## 1 GPU 用于 Lenet
CUDA_VISIBLE_DEVICES=0 python -u train.py --work-path ./experiments/cifar10/lenet

## 从 checkpoint 恢复训练
CUDA_VISIBLE_DEVICES=0 python -u train.py --work-path ./experiments/cifar10/lenet --resume

## 2 GPUs 用于 ResNet1202
CUDA_VISIBLE_DEVICES=0,1 python -u train.py --work-path ./experiments/cifar10/preresnet1202

## 4 GPUs 用于 DenseNet190BC
CUDA_VISIBLE_DEVICES=0,1,2,3 python -u train.py --work-path ./experiments/cifar10/densenet190bc

## 1 GPU 用于 VGG19 推理
CUDA_VISIBLE_DEVICES=0 python -u eval.py --work-path ./experiments/cifar10/vgg19

我们使用 YAML 文件 config.yaml 来保存参数，并在 ./experiments 目录下查看更多详细信息。您可以通过 TensorBoard 查看训练曲线，命令为：tensorboard --logdir path-to-event --port your-port。训练日志将被记录在工作目录下的 log.txt 中。

CIFAR 数据集上的结果

范例架构

架构	参数量	批次大小	训练轮数	C10 测试准确率 (%)	C100 测试准确率 (%)
Lecun	62K	128	250	67.46	34.10
AlexNet	2.4M	128	250	75.56	38.67
VGG19	20M	128	250	93.00	72.07
PreresNet20	0.27M	128	250	91.88	67.03
PreresNet110	1.7M	128	250	94.24	72.96
PreresNet1202	19.4M	128	250	94.74	75.28
DenseNet100BC	0.76M	64	300	95.08	77.55
DenseNet190BC	25.6M	64	300	96.11	82.59
ResNeXt29_16x64d	68.1M	128	300	95.94	83.18
SE_ResNeXt29_16x64d	68.6M	128	300	96.15	83.65
CBAM_ResNeXt29_16x64d	68.7M	128	300	96.27	83.62
GE_ResNeXt29_16x64d	70.0M	128	300	96.21	83.57

额外的正则化处理

PS：默认的数据增强方法为“随机裁剪”+“随机水平翻转”+“归一化”，其中“√”表示将采用哪种额外的方法。:cake:

架构	epoch	切割（cutout）	混合（mixup）	C10 测试准确率 (%)
preresnet20	250			91.88
preresnet20	250	√		92.57
preresnet20	250		√	92.71
preresnet20	250	√	√	92.66
preresnet110	250			94.24
preresnet110	250	√		94.67
preresnet110	250		√	94.94
preresnet110	250	√	√	95.66
se_resnext29_16x64d	300			96.15
se_resnext29_16x64d	300	√		96.60
se_resnext29_16x64d	300		√	96.86
se_resnext29_16x64d	300	√	√	97.03
cbam_resnext29_16x64d	300	√	√	97.16
ge_resnext29_16x64d	300	√	√	97.19
--	--	--	--	--
shake_resnet26_2x64d	1800			96.94
shake_resnet26_2x64d	1800	√		97.20
shake_resnet26_2x64d	1800		√	97.42
shake_resnet26_2x64d	1800	√	√	97.71

PS：通过“切割”和“混合”技术，“shake_resnet26_2x64d”实现了**97.71%**的测试准确率！！这真是太酷了，不是吗？

使用不同的学习率调度器

架构	epoch	步骤衰减	余弦曲线	htd(-6,3)	切割（cutout）	混合（mixup）	C10 测试准确率 (%)
preresnet20	250	√					91.88
preresnet20	250		√				92.13
preresnet20	250			√			92.44
preresnet20	250			√	√	√	93.30
preresnet110	250	√					94.24
preresnet110	250		√				94.48
preresnet110	250			√			94.82
preresnet110	250			√	√	√	95.88

致谢

提供的代码均源自：

• kuangliu/pytorch-cifar
• bearpaw/pytorch-classification
• timgaripov/swa
• xgastaldi/shake-shake
• uoguelph-mlrg/Cutout
• facebookresearch/mixup-cifar10
• BIGBALLON/cifar-10-cnn
• BayesWatch/pytorch-GENet
• Jongchan/attention-module
• pppLang/SKNet

如果您有任何建议或疑问，欢迎随时与我联系；如有任何问题或bug，也欢迎提交PR！ :blush:

引用格式

@misc{bigballon2019cifarzoo,
  author = {Wei Li},
  title = {CIFAR-ZOO：PyTorch实现的用于CIFAR数据集的CNN},
  howpublished = {\url{https://github.com/BIGBALLON/CIFAR-ZOO}},
  year = {2019}
}

CIFAR-ZOO 快速上手指南

注意：本项目目前处于归档状态（Archive），最终测试基于 PyTorch 1.7，不再维护。作者推荐转向使用由 FAIR 开发的 pycls 项目。但本项目仍可作为学习多种经典 CNN 架构及改进方法的参考代码库。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS (Windows 需自行配置 CUDA 环境)
• Python: >= 3.6
• PyTorch: >= 1.1.0
• TensorBoard: >= 1.4.0 (用于可视化训练曲线)
• 其他依赖: pyyaml, easydict

国内加速建议： 安装 PyTorch 时，推荐使用清华或中科大镜像源以提升下载速度。例如：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库并进入目录（假设已下载源码）：

   cd CIFAR-ZOO
   

2. 安装 Python 依赖包（建议使用国内镜像源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

本项目通过 train.py 进行模型训练，通过 eval.py 进行评估。配置参数保存在 config.yaml 中，具体实验配置可参考 ./experiments 目录下的文件。

1. 开始训练

以下命令展示了如何启动不同模型的训练任务：

单卡训练 LeNet:

CUDA_VISIBLE_DEVICES=0 python -u train.py --work-path ./experiments/cifar10/lenet

断点续训:

CUDA_VISIBLE_DEVICES=0 python -u train.py --work-path ./experiments/cifar10/lenet --resume

多卡训练 (2 张 GPU) PreResNet-1202:

CUDA_VISIBLE_DEVICES=0,1 python -u train.py --work-path ./experiments/cifar10/preresnet1202

多卡训练 (4 张 GPU) DenseNet-190bc:

CUDA_VISIBLE_DEVICES=0,1,2,3 python -u train.py --work-path ./experiments/cifar10/densenet190bc

2. 模型评估

使用预训练权重进行测试（以 VGG19 为例）：

CUDA_VISIBLE_DEVICES=0 python -u eval.py --work-path ./experiments/cifar10/vgg19

3. 查看训练日志与可视化

• 文本日志: 训练过程中的详细日志会保存至工作目录下的 log.txt 文件中。
• 可视化曲线: 使用 TensorBoard 查看损失和准确率曲线：

  tensorboard --logdir path-to-event --port your-port
  

  (请将 path-to-event 替换为实际的事件文件路径)