PyTorch 中针对 CIFAR10/CIFAR100 的正确 ResNet 实现

Torchvision 模型库 提供了多种最先进架构的实现，然而，其中大多数都是为 ImageNet 数据集定义和实现的。 通常情况下，在其他数据集上直接使用这些提供的模型是相当直观的，但在某些情况下仍需要手动进行一些配置。

例如，在 CIFAR10 上使用 ResNet 的 PyTorch 仓库中，很少有项目会按照 原始论文 中描述的方式进行实现。如果你只是简单地在 CIFAR10 数据集上使用 torchvision 提供的模型，那么你得到的模型 层数和参数量都会有所不同。这在希望将 CIFAR10 上的 ResNet 与原始论文结果直接对比时是不可接受的。 本仓库的目的是提供一个符合原始论文描述、适用于 CIFAR10 的有效 PyTorch ResNet 实现。以下是提供的模型：

名称	层数	参数量	论文测试误差	本实现测试误差
ResNet20	20	0.27M	8.75%	8.27%
ResNet32	32	0.46M	7.51%	7.37%
ResNet44	44	0.66M	7.17%	6.90%
ResNet56	56	0.85M	6.97%	6.61%
ResNet110	110	1.7M	6.43%	6.32%
ResNet1202	1202	19.4M	7.93%	6.18%

该实现与原始论文中的描述完全一致，且测试误差也达到了可比甚至更优的水平。

如何运行？

git clone https://github.com/akamaster/pytorch_resnet_cifar10
cd pytorch_resnet_cifar10
chmod +x run.sh && ./run.sh

训练细节

我们的实现基本遵循了论文中的方法，但也有一些需要注意的地方：首先，论文中的训练采用了 45k/5k 的训练集和验证集划分，并根据验证集上的表现选择最佳模型。而我们 并未进行验证集测试；如果你需要将你的 ResNet 结果与原始论文的结果进行直接对比，请务必注意这一点。其次，如果你想训练 ResNet1202，请确保你的 GPU 具备至少 16GB 显存。

可下载的预训练模型

1. ResNet20，误差 8.27%
2. ResNet32，误差 7.37%
3. ResNet44，误差 6.90%
4. ResNet56，误差 6.61%
5. ResNet110，误差 6.32%
6. ResNet1202，误差 6.18%

如果你觉得这个实现对你有所帮助，并希望引用或提及本页面，可以使用以下 BibTeX 格式的引用：

@misc{Idelbayev18a,
  author       = {Yerlan Idelbayev},
  title        = {PyTorch 中针对 CIFAR10/CIFAR100 的正确 ResNet 实现},
  howpublished = {\url{https://github.com/akamaster/pytorch_resnet_cifar10}},
  note         = {访问日期：20xx-xx-xx}
}

pytorch_resnet_cifar10 快速上手指南

本项目提供了符合原始论文描述的 PyTorch ResNet 实现，专门针对 CIFAR10/CIFAR100 数据集优化。与 Torchvision 中通用的 ImageNet 模型不同，本实现的层数和参数结构严格遵循原论文，适合需要进行精确复现或对比研究的开发者。

环境准备

• 系统要求：Linux/macOS/Windows（需支持 Bash 脚本或手动执行命令）
• 硬件要求：
  • 常规模型（ResNet20-110）：普通 GPU 即可。
  • ResNet1202：需要至少 16GB 显存的 GPU。
• 前置依赖：
  • Python 3.x
  • PyTorch
  • torchvision
  • git

安装步骤

通过 Git 克隆仓库并赋予执行权限：

git clone https://github.com/akamaster/pytorch_resnet_cifar10
cd pytorch_resnet_cifar10
chmod +x run.sh

提示：如果下载速度较慢，建议使用国内镜像加速或配置 Git 代理。

基本使用

1. 快速训练与测试

项目提供了一个封装好的脚本 run.sh，可直接运行以启动训练流程：

./run.sh

2. 使用预训练模型

如果你无需重新训练，可以直接下载预训练模型进行评估。以下是各模型的测试错误率及下载链接：

模型	层数	参数量	测试错误率 (本实现)	下载链接
ResNet20	20	0.27M	8.27%	下载
ResNet32	32	0.46M	7.37%	下载
ResNet44	44	0.66M	6.90%	下载
ResNet56	56	0.85M	6.61%	下载
ResNet110	110	1.7M	6.32%	下载
ResNet1202	1202	19.4M	6.18%	下载

3. 注意事项

• 验证集策略差异：原始论文使用 45k/5k 的训练/验证集划分来选择最佳模型。本实现不执行验证集测试，直接在全量训练集上训练。若需与原始论文进行严格的逐点对比，请注意此差异。
• 大模型显存需求：训练 ResNet1202 时，请确保 GPU 显存不低于 16GB。