残差注意力网络-PyTorch

一个关于残差注意力网络的 PyTorch 代码。

该代码基于以下两个项目：

1. https://github.com/liudaizong/Residual-Attention-Network
2. https://github.com/fwang91/residual-attention-network/blob/master/imagenet_model/Attention-92-deploy.prototxt

第一个项目提供了 PyTorch 版本的实现，但我觉得其中的一些网络细节不够完善。因此，我参考了 Attention-92-deploy.prototxt 的架构对其进行了修改。

此外，我还添加了用于 ImageNet 数据集训练的 ResidualAttentionModel_92，用于处理更大尺寸图像输入的 ResidualAttentionModel_448input，以及用于 CIFAR-10 数据集训练的 ResidualAttentionModel_92_32input_update。

参考论文

《用于图像分类的残差注意力网络》（CVPR-2017 Spotlight）
作者：Wang Fei, Jiang Mengqing, Qian Chen, Yang Shuo, Li Chen, Zhang Honggang, Wang Xiaogang, Tang Xiaoou

如何训练？

首先，请从 http://www.cs.toronto.edu/~kriz/cifar.html 下载数据集。
确保将变量设置为：

is_train = True

然后运行以下命令进行训练： CUDA_VISIBLE_DEVICES=0 python train.py

或者使用 Mixup 数据增强进行训练： CUDA_VISIBLE_DEVICES=0 python train_mixup.py

你可以选择在 ResidualAttentionModel_56 或 ResidualAttentionModel_448input 上进行训练，只需修改 train.py 中的导入语句即可。例如，将： “from model.residual_attention_network import ResidualAttentionModel_92 as ResidualAttentionModel” 改为： “from model.residual_attention_network import ResidualAttentionModel_56 as ResidualAttentionModel”

如何测试？

确保将变量设置为：

is_train = False

然后运行以下命令进行测试： CUDA_VISIBLE_DEVICES=0 python train.py

或者使用 Mixup 数据增强进行测试： CUDA_VISIBLE_DEVICES=0 python train_mixup.py

实验结果

1. CIFAR-10：使用 ResidualAttentionModel_92_32input_update，准确率为 95.4%（Top-1 错误率 4.6%），高于论文中报道的 Top-1 错误率 4.99%。

2. CIFAR-10：使用 ResidualAttentionModel_92_32input_update 并结合 Mixup 数据增强，准确率为 96.65%（Top-1 错误率 3.35%）。

3. CIFAR-10：使用 ResidualAttentionModel_92_32input_update，并结合 Mixup 数据增强及更简单的注意力模块，准确率为 96.84%（Top-1 错误率 3.16%）。

感谢 @PistonY 提供的 Mixup 建议。有关 Mixup 的更多细节，可以参考 Facebook Research 的项目：https://github.com/facebookresearch/mixup-cifar10。

论文仅提供了针对 ImageNet 数据集、输入尺寸为 224 的 attention_92 架构细节，而未涉及 CIFAR-10。因此，我根据自己的理解构建了相应的网络结构。由于我没有花太多精力优化代码，你或许可以在我的基础上做出更好的改进。

模型文件：

model_92_sgd.pkl 是训练好的模型文件，其准确率为 0.954。

ResidualAttentionNetwork-pytorch 快速上手指南

本指南基于 PyTorch 实现的残差注意力网络（Residual Attention Network），适用于图像分类任务。代码参考了 CVPR-2017 Spotlight 论文架构，并针对 CIFAR-10 和 ImageNet 进行了适配优化。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐) 或 macOS
• Python 版本：Python 3.6+
• 深度学习框架：PyTorch (建议版本 1.0+)
• 硬件要求：支持 CUDA 的 NVIDIA GPU（用于加速训练）
• 前置依赖：
  • torch
  • torchvision
  • numpy
  • Pillow

提示：国内用户推荐使用清华源或阿里源安装依赖，以提升下载速度。

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码 将仓库克隆到本地目录：

   git clone <repository_url>
   cd ResidualAttentionNetwork-pytorch
   

   (注：请将 <repository_url> 替换为实际的仓库地址)

2. 准备数据集 本项目默认支持 CIFAR-10 数据集。请从官方源下载数据：

   • 下载地址：http://www.cs.toronto.edu/~kriz/cifar.html
   • 将下载的数据集解压并放置在代码指定的数据目录中（通常为 data/ 或根据 train.py 中的路径配置进行调整）。

3. 验证模型文件 项目已提供预训练模型 model_92_sgd.pkl（CIFAR-10 准确率约 95.4%），可直接用于测试或作为微调起点。

基本使用

1. 训练模型 (Training)

默认配置使用 ResidualAttentionModel_92 架构进行训练。

• 标准训练：

  # 确保 train.py 中 is_train = True
  CUDA_VISIBLE_DEVICES=0 python train.py
  

• 使用 Mixup 数据增强训练（推荐，可提升精度至 96.65%+）：

  # 确保 train_mixup.py 中 is_train = True
  CUDA_VISIBLE_DEVICES=0 python train_mixup.py
  

• 切换模型架构： 若需使用其他架构（如 ResidualAttentionModel_56 或 ResidualAttentionModel_448input），请修改 train.py 中的导入语句：

  # 原代码
  from model.residual_attention_network import ResidualAttentionModel_92 as ResidualAttentionModel
  
  # 修改为 (示例：使用 56 层模型)
  from model.residual_attention_network import ResidualAttentionModel_56 as ResidualAttentionModel
  

  针对 CIFAR-10 优化的特定模型请使用 ResidualAttentionModel_92_32input_update。

2. 测试/评估模型 (Testing)

使用预训练权重或训练好的模型进行评估。

• 执行测试：
  1. 打开 train.py 或 train_mixup.py。
  2. 将变量 is_train 设置为 False。
  3. 运行命令：

  CUDA_VISIBLE_DEVICES=0 python train.py
  # 或者测试 mixup 版本
  CUDA_VISIBLE_DEVICES=0 python train_mixup.py
  

3. 预期结果参考

在 CIFAR-10 数据集上的典型表现：

• 基础模型 (ResidualAttentionModel_92_32input_update): Top-1 错误率 ~4.6% (准确率 95.4%)
• 加入 Mixup: Top-1 错误率 ~3.35% (准确率 96.65%)
• Mixup + 简化注意力模块: Top-1 错误率 ~3.16% (准确率 96.84%)