神经网络对常见损坏和扰动的鲁棒性基准测试

本仓库包含论文《神经网络对常见损坏和扰动的鲁棒性基准测试》（ICLR 2019）所需的数据集及部分代码，该论文由Dan Hendrycks和Thomas Dietterich共同撰写。

需要Python 3及以上版本以及PyTorch 0.3及以上版本。请从下方链接下载数据以进行评估。

ImageNet-C

在此下载ImageNet-C数据集。 (镜像链接。)

在此下载Tiny ImageNet-C数据集。 (镜像链接。)

Tiny ImageNet-C包含200个类别，图像尺寸为64×64；而ImageNet-C则涵盖全部1000个类别，每张图像均为标准尺寸。若希望实验更加迅速，还可使用CIFAR-10-C和CIFAR-100-C数据集。建议使用上述JPEG文件进行评估，而非在内存中计算损坏效果，这样可以确保评估结果的确定性和一致性。

ImageNet-C排行榜

基于ResNet-50主干网络，在ImageNet-1K数据集上训练，并在224×224×3图像上评估的ImageNet-C鲁棒性表现。

方法	参考文献	是否独立方法	mCE	清晰样本错误率
DeepAugment+AugMix	Hendrycks等	否	53.6%	24.2%
Assemble-ResNet50	Lee等	否	56.5%	17.90%
ANT (3x3)	Rusak和Schott等	是	63%	23.9%
BlurAfterConv	Vasconcelos等	是	64.9%	21.2%
AugMix	Hendrycks和Mu等（ICLR 2020）	是	65.3%	22.47%
Stylized ImageNet	Geirhos等（ICLR 2019）	是	69.3%	25.41%
Group-wise Inhibition+DataAug	Liu等（ICCV2021）	否	69.6%	22.4%
Patch Uniform	Lopes等	是	74.3%	24.5%
Group-wise Inhibition	Liu等（ICCV2021）	是	75.3%	23.1%
ResNet-50 基线		N/A	76.7%	23.85%

“独立方法”表示该方法是多种技术的组合，还是单一独立的方法。结合多种方法与提出独立方法各有价值，但并不一定具有可比性。

请务必查阅每篇论文中关于所有15种损坏效果的结果，因为有些技术能够提升对所有损坏的鲁棒性，而另一些方法则可能在某些损坏下有效、在其他情况下反而降低性能，还有一些方法特别擅长应对噪声类损坏。使用其他主干网络可能会获得更好的结果。例如，一个普通的ResNeXt-101模型的mCE为62.2%。需要注意的是，Lopes等人使用ResNet-50主干网络时，其mCE达到了80.6，因此他们的改进程度远超表格所显示的数值。

如果您使用ResNet-50主干网络在ImageNet-C上取得了当前最佳性能，请提交Pull Request。

更新：新的鲁棒性基准测试

对于类似ImageNet-C的分布偏移基准测试，还可以考虑使用ImageNet-A或ImageNet-R等数据集。

ImageNet-A包含真实世界中的未经修改的自然图像，这些图像会导致模型准确率大幅下降。ImageNet-R（重制版）则包含了3万个ImageNet类别的重制版本，涵盖艺术、卡通、DeviantArt、涂鸦、刺绣、图形设计、折纸、绘画、图案、塑料制品、毛绒玩具、雕塑、素描、纹身、玩具和电子游戏等内容。

计算mCE

此电子表格展示了如何计算平均损坏误差。

ImageNet-P

_{^{ImageNet-P序列是MP4格式，而非GIF格式。其中喷溅扰动序列是一个验证序列。}}

在此下载Tiny ImageNet-P数据集。 (镜像链接。)

在此下载ImageNet-P数据集。 (镜像链接。)

在此下载CIFAR-10-P数据集。

在此下载CIFAR-100-P数据集。

ImageNet-P排行榜

基于ResNet-50主干网络的ImageNet-P扰动鲁棒性表现。

方法	参考文献	mFR	mT5D
AugMix	Hendrycks和Mu等（ICLR 2020）	37.4%
低通滤波池化（bin-5）	Zhang（ICML 2019）	51.2%	71.9%
ResNet-50 基线		58.0%	78.4%

如果您在ImageNet-P上取得了当前最佳性能，请提交Pull Request。

引用

如果您在研究中觉得本项目有用，请考虑引用以下文献：

@article{hendrycks2019robustness,
  title={神经网络对常见损坏和扰动的鲁棒性基准测试},
  author={丹·亨德里克斯和托马斯·迪特里希},
  journal={国际学习表示会议论文集},
  year={2019}
}

部分代码由 汤姆·布朗 贡献。

Icons-50（来自旧版本草稿）

您可以通过这里或这里下载 Icons-50。

Robustness 快速上手指南

本指南帮助开发者快速搭建环境并使用 robustness 工具包，用于评估神经网络在常见图像损坏（Corruptions）和扰动（Perturbations）下的鲁棒性。该工具基于 ICLR 2019 论文《Benchmarking Neural Network Robustness to Common Corruptions and Perturbations》。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 3+
• 深度学习框架：PyTorch 0.3+ (建议使用较新版本以保持兼容性)
• 依赖库：需安装基础的图像处理库（如 Pillow, numpy 等，通常随 PyTorch 生态自动安装）

安装步骤

由于该项目主要提供数据集和评估逻辑，核心代码通常直接克隆仓库使用。

1. 克隆仓库

   git clone https://github.com/hendrycks/robustness.git
   cd robustness
   

2. 安装 Python 依赖 如果项目根目录包含 requirements.txt，请运行：

   pip install -r requirements.txt
   

   若无此文件，请确保已安装 PyTorch：

   pip install torch torchvision
   

3. 下载评估数据集 为了进行确定性且一致的评估，强烈建议下载预生成的损坏/扰动图像数据集，而不是在内存中实时计算。

   • ImageNet-C (常用):

     • 官方源 (Zenodo): Download ImageNet-C
     • 国内加速/镜像: Google Drive 镜像 (需网络工具) 或查找国内网盘搬运资源。

   • Tiny ImageNet-C (快速实验):

     • Download Tiny ImageNet-C
     • 国内加速/镜像: Box 镜像

   • 其他数据集:

     • CIFAR-10-C / CIFAR-100-C: 可在 Zenodo 搜索对应记录下载。
     • ImageNet-P (扰动基准): Download ImageNet-P

   下载后，请将数据解压至项目指定的数据目录（通常为 data/ 或在代码中配置的路径）。

基本使用

本工具主要用于加载预训练模型并在损坏数据集上进行推理评估。以下是一个基于 PyTorch 的最简评估流程示例。

假设您已有一个训练好的 ResNet-50 模型 (model.pth) 并下载了 ImageNet-C 数据。

import os
import torch
import torchvision.models as models
import torchvision.transforms as transforms
from PIL import Image
from torch.utils.data import DataLoader, Dataset

# 1. 定义简单的数据集类来加载 ImageNet-C 的某个损坏类型 (例如 'gaussian_noise')
class ImageNetCDataset(Dataset):
    def __init__(self, root_dir, corruption_type='gaussian_noise', severity=1):
        self.root_dir = os.path.join(root_dir, corruption_type, str(severity))
        self.images = [os.path.join(self.root_dir, f) for f in os.listdir(self.root_dir) if f.endswith('.jpeg')]
        self.transform = transforms.Compose([
            transforms.Resize(256),
            transforms.CenterCrop(224),
            transforms.ToTensor(),
            transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
        ])

    def __len__(self):
        return len(self.images)

    def __getitem__(self, idx):
        img_path = self.images[idx]
        image = Image.open(img_path).convert('RGB')
        # 注意：实际使用时需要根据文件名解析对应的 Label，此处简化处理
        # ImageNet-C 的标签顺序与原始 ImageNet 验证集一致
        label = int(os.path.basename(img_path).split('_')[0]) 
        return self.transform(image), label

# 2. 加载模型
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = models.resnet50(pretrained=True) # 或者加载您自己的权重: model.load_state_dict(torch.load('model.pth'))
model.to(device)
model.eval()

# 3. 初始化数据加载器
# 请替换为您实际下载的数据路径
data_path = "./data/imagenet_c" 
dataset = ImageNetCDataset(root_dir=data_path, corruption_type='gaussian_noise', severity=1)
dataloader = DataLoader(dataset, batch_size=32, shuffle=False, num_workers=4)

# 4. 执行评估
correct = 0
total = 0

with torch.no_grad():
    for images, labels in dataloader:
        images, labels = images.to(device), labels.to(device)
        outputs = model(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

accuracy = 100 * correct / total
print(f'Accuracy on Gaussian Noise (Severity 1): {accuracy:.2f}%')

说明：

• mCE 计算：要计算论文中提到的平均损坏误差 (mCE)，您需要遍历所有 15 种损坏类型和 5 个严重程度等级，参考官方提供的 Google Sheets 计算公式 进行加权平均。
• 数据一致性：务必使用下载的 JPEG 图片进行评估，以确保结果与 Leaderboard 可比。