:tada: 更新（2021年8月）：

现在，绘制您模型的形状偏向性从未如此简单！位于 bethgelab:model-vs-human 的综合工具箱支持此处报告的所有数据集（例如纹理-形状线索冲突、仅轮廓、仅边缘等），并附带用于评估任意 PyTorch 或 TensorFlow 模型的代码。

来自论文
“ImageNet 训练的 CNN 倾向于纹理；增强形状偏向性可提高准确性和鲁棒性”的数据、代码及材料

本仓库包含由 Robert Geirhos、Patricia Rubisch、Claudio Michaelis、Matthias Bethge、Felix A. Wichmann 和 Wieland Brendel 共同撰写的论文《ImageNet 训练的 CNN 倾向于纹理；增强形状偏向性可提高准确性和鲁棒性》的相关信息、数据和材料。我们希望该仓库能为您的研究提供有价值的参考。

核心思想如图所示：如果卷积神经网络看到一只带有大象纹理的猫，它会认为这是一只大象，尽管其形状仍然清晰地呈现出猫的特征。我们发现这种“纹理偏向性”在 ImageNet 训练的 CNN 中非常普遍，这与长期以来广泛持有的观点——即 CNN 主要通过识别物体的形状来完成分类——形成了鲜明对比。

如有任何疑问，请随时通过 robert.geirhos@bethgelab.org 与我联系，或在 Issues 中提交问题！可重复性和开放科学对我而言至关重要，我也非常欢迎关于如何进一步改进的意见和建议。

本 README 的结构与仓库目录结构相对应：每个子目录对应一个部分（按字母顺序排列）。

相关仓库：

请注意，本文中使用的重要数据集 Stylized-ImageNet 拥有自己的仓库，地址为 rgeirhos:Stylized-ImageNet。用于评估形状/纹理偏向性的线索冲突数据集与 Stylized-ImageNet 并不相同。

本仓库的部分内容借鉴了我们之前的工作“人类与深度神经网络中的泛化能力”（发表于 NeurIPS 2018）。相应的代码、数据和材料可在 rgeirhos:generalisation-humans-DNNs 获取。为方便起见，本仓库直接包含了来自该论文的人类数据（这些数据被用于纹理与形状相关研究的比较），存放于 raw-data/raw-data-from-generalisation-paper/ 目录下。

code

code/ 目录包含映射功能，可用于根据长度为 1,000 的向量（典型 ImageNet 分类器的 softmax 输出）确定对应的初级类别（共 16 类，例如“狗”）。使用方法如下：

    # 获取 softmax 输出
    softmax_output = SomeCNN(input_image) # 替换为您喜欢的 CNN

    # 转换为 numpy 数组
    softmax_output_numpy = SomeConversionToNumpy(softmax_output) # 替换为实际转换函数

    # 创建映射
    mapping = probabilities_to_decision.ImageNetProbabilitiesTo16ClassesMapping()
    
    # 得到最终决策
    decision_from_16_classes = mapping.probabilities_to_decision(softmax_output_numpy)

data-analysis

data-analysis/ 目录包含主分析脚本 data-analysis.R 及一些辅助功能。所有生成的图表将保存在 paper-figures/ 目录中。

请注意：对于 AlexNet、VGG-16 和 GoogLeNet，我们使用的是 Caffe 实现；而对于 ResNet-50，则采用了 torchvision 实现。当使用 torchvision 对 AlexNet 和 VGG-16 进行形状偏向性计算时，结果与 Caffe 实现存在差异（如 Issue #7 所指出）。AlexNet 的形状偏向性为 25.3%，而 VGG-16 为 9.2%。这两个数值均低于论文中基于 Caffe 实现所报告的结果。这意味着，采用 torchvision 实现时，我们测得的这两款模型的纹理偏向性更为极端。总体而言，我们建议使用 torchvision 实现，因为它更常用且框架更新。

lab-experiment

实验室中进行人类受试者实验所需的一切内容。该部分基于 MATLAB 开发。

experimental-code

包含主 MATLAB 实验程序 shape_texture_experiment.m，以及一个 .yaml 文件，用于指定实验中的具体参数值（如刺激呈现时间）。部分函数依赖于我们内部开发的 iShow 库，该库可从 这里 获取。

helper-functions

部分辅助函数引用了他人的代码，请查阅相应文件以了解版权信息。

模型

文件 load_pretrained_models.py 将加载在 Stylized-ImageNet 上训练的以下模型：

    from load_pretrained_models import load_model
    
    model_A = "resnet50_trained_on_SIN"
    model_B = "resnet50_trained_on_SIN_and_IN"
    model_C = "resnet50_trained_on_SIN_and_IN_then_finetuned_on_IN"
    
    model = load_model(model_name = model_A) # 或 model_B 或 model_C

这些对应于论文表2中报告的模型（方法细节见附录A.5节）。此外，还提供了在SIN上训练的AlexNet和VGG-16。请注意，由于训练时使用的超参数可能不够优化，这两款模型的整体性能并不理想。在SIN上训练并在ImageNet上评估的VGG-16的Top1/Top5准确率分别为：Prec@1 52.260，Prec@5 76.390（在SIN上评估时：Prec@1 48.958，Prec@5 73.092）。

我们使用了PyTorch ImageNet训练脚本来训练这些模型。以下是训练时的超参数设置：

• 批量大小：256
• 优化器：SGD (torch.optim.SGD)
• 动量：0.9
• 权重衰减：1e-4
• 训练轮数：60轮（model_A），45轮（model_B）。然而，model_B的45轮相当于正常ImageNet训练的90轮，因为用于训练model_B的数据集是ImageNet和Stylized-ImageNet的合并，因此每轮分类器看到的图片数量是标准训练轮次的两倍。
• 学习率：0.1，每20轮（model_A）或每15轮（model_B）乘以0.1进行衰减。
• 是否预训练于ImageNet：是（对于model_A和model_B），即使用torchvision.models.resnet50(pretrained=True)。用ImageNet训练的初始权重来初始化模型，被证明有利于提高整体准确率。

model_C是以model_B的权重进行初始化的。随后在ImageNet上进行了60轮微调，学习率为0.01，每30轮乘以0.1进行衰减。其他超参数（批量大小、优化器、动量和权重衰减）与训练model_A和model_B时相同。

在数据预处理方面，我们对IN和SIN都采用了标准的ImageNet归一化处理（如PyTorch ImageNet训练脚本中所用），其均值和标准差如下：

• 均值 = [0.485, 0.456, 0.406]
• 标准差 = [0.229, 0.224, 0.225]

训练时使用的变换为：

    train_transforms = transforms.Compose([
                                  transforms.RandomResizedCrop(224),
                                  transforms.RandomHorizontalFlip(),
                                  transforms.ToTensor()])

验证时使用的变换为：

    val_transforms = transforms.Compose([
                                      transforms.Resize(256),
                                      transforms.CenterCrop(224),
                                      transforms.ToTensor()])                 

输入格式：RGB。

不同SIN训练模型的形状偏差与IN准确率

以下是上述四款模型的形状偏差值。大致来说，模型在ImageNet上训练的轮数越多，其形状偏差越低；而在Stylized-ImageNet上训练的轮数越多，其形状偏差越高。在ImageNet上进行微调（如model_C）会提升ImageNet上的表现，甚至优于标准的ResNet-50，但这也意味着模型会“忘记”微调前的形状偏差。

模型	形状偏差	Top-1 IN准确率	Top-5 IN准确率
标准ResNet-50	21.39%	76.13	92.86
model_A	81.37%	60.18	82.62
model_B	34.65%	74.59	92.14
model_C	20.54%	76.72	93.28

请注意，这些数值是使用与论文中略有不同的概率聚合方法计算得出的。我们这里采用的是平均法：将ImageNet类别的概率映射到对应的16类ImageNet类别中，使用所有相关细粒度类别概率的平均值。我们建议使用这种方法，而不是其他聚合方式（求和、取最大等）。这篇论文的更新版附录第22页及后续内容解释了为什么平均聚合方法才是原则性和更优的选择。

paper-figures

包含论文中的所有图表。所有报告结果的图表都可以通过data-analysis/中的脚本生成。

raw-data

此处为每个观察者和网络实验提供一个.csv文件，其中包含原始数据，共计48,560次人类心理物理试验，涉及97名参与者，在受控的实验室环境中完成。

stimuli

这些是我们实验中使用的原始刺激材料。每个目录包含按16个子目录（每个类别一个）划分的刺激图像。

常见问题解答

运行风格迁移的代码：

我使用了Leon Gatys的代码，并按照代码中指定的默认设置和超参数运行了风格迁移。最终的内容损失和风格损失取决于具体的图像。

能否直接分享Stylized-ImageNet？

很遗憾，由于版权限制，我无法直接分享这一版本的ImageNet，因为并非所有的原始ImageNet图像都允许使用、分享或修改。

除了线索冲突刺激之外，能否分享纹理实验/“原始”实验等的刺激材料？

很遗憾，图像使用权限不允许我分享或分发这些刺激材料。

如何计算模型的形状偏差？

很简单：可以查看bethgelab:model-vs-human，它支持绘制任意PyTorch/TensorFlow模型的形状偏差曲线（数据集名称：线索冲突）。或者，如果您想一步步操作，可以按照以下步骤进行：

1. 在这里的1,280张图像上评估您的模型（https://github.com/rgeirhos/texture-vs-shape/tree/master/stimuli/style-transfer-preprocessed-512）。
2. 使用上述提供的代码将模型决策映射到16个类别（https://github.com/rgeirhos/texture-vs-shape#code）。
3. 排除没有线索冲突的图像（例如，纹理=猫，形状=猫）。
4. 选取“正确”分类的图像子集（即正确预测了形状或纹理类别）。
5. 计算“形状偏差”，公式为：（正确形状判断的数量）/（正确形状判断的数量 + 正确纹理判断的数量）。

texture-vs-shape 快速上手指南

本指南帮助开发者快速复现论文《ImageNet-trained CNNs are biased towards texture》中的核心实验，评估模型在“纹理”与“形状”之间的偏好偏差（Shape Bias）。

环境准备

• 操作系统: Linux / macOS / Windows
• 语言环境: Python 3.6+
• 核心依赖:
  • PyTorch (推荐用于加载预训练模型和评估)
  • NumPy
  • Matplotlib (用于绘图)
  • R 语言及必要包 (可选，仅当需要运行 data-analysis.R 复现论文图表时)
• 前置知识: 熟悉 PyTorch 模型推理流程。

注意: 本项目部分历史实验基于 Caffe 或 MATLAB，但官方推荐使用 PyTorch (torchvision) 实现，因其更通用且更新及时。使用 torchvision 实现的模型（如 AlexNet, VGG-16）计算出的形状偏差值可能略低于原论文（基于 Caffe），但这反映了更极端的纹理偏差。

安装步骤

1. 克隆仓库

   git clone https://github.com/rgeirhos/texture-vs-shape.git
   cd texture-vs-shape
   

2. 安装 Python 依赖 确保已安装 PyTorch。若未安装，可使用以下命令（国内用户推荐使用清华源加速）：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision numpy matplotlib
   

   注：本项目主要提供数据处理脚本和预训练权重加载逻辑，无复杂的 setup.py 一键安装，需手动配置环境。

3. 获取预训练模型权重 代码库中的 models/load_pretrained_models.py 用于加载在 Stylized-ImageNet (SIN) 上训练的模型。

   • 由于版权限制，作者无法直接分发 Stylized-ImageNet 数据集及部分刺激图像。
   • 你需要自行下载预训练权重文件（通常需在原仓库 Issue 或相关论文附录中查找链接），并将其放置在 models/ 目录下，或修改 load_pretrained_models.py 中的路径指向你的本地权重文件。

基本使用

1. 加载在 Stylized-ImageNet 上训练的模型

使用提供的脚本加载具有不同形状偏差的 ResNet-50 变体：

from load_pretrained_models import load_model

# 可选模型:
# model_A: 仅在 SIN 上训练 (高形状偏差)
# model_B: 在 SIN 和 ImageNet 混合数据上训练
# model_C: 先在混合数据训练，再在 ImageNet 微调 (低形状偏差，高精度)

model_name = "resnet50_trained_on_SIN" 
model = load_model(model_name=model_name)

model.eval()

2. 将模型输出映射为 16 个基础类别

为了计算形状偏差，需要将 ImageNet 的 1000 类输出概率映射到 16 个入口级类别（如 "dog", "cat" 等）。

import numpy as np
from code.probabilities_to_decision import ImageNetProbabilitiesTo16ClassesMapping

# 假设 input_image 已经过预处理并输入模型
# softmax_output 形状应为 [1, 1000]
softmax_output = model(input_image) 

# 转换为 numpy 数组
softmax_output_numpy = softmax_output.detach().cpu().numpy()

# 创建映射器
mapping = ImageNetProbabilitiesTo16ClassesMapping()

# 获取决策结果 (返回 0-15 的类别索引)
decision_from_16_classes = mapping.probabilities_to_decision(softmax_output_numpy)

3. 计算形状偏差 (Shape Bias)

要评估任意模型的形状偏差，请遵循以下逻辑流程（或使用推荐的工具箱 bethgelab/model-vs-human）：

1. 评估: 在冲突数据集（Cue Conflict Dataset，即纹理与形状不一致的图像，共 1280 张）上运行模型推理。
2. 映射: 使用上述代码将 1000 类概率映射为 16 类决策。
3. 筛选: 排除无冲突样本（纹理和形状属于同一类），仅保留存在冲突的样本。
4. 统计: 在模型预测正确（预测结果等于形状标签 或 纹理标签）的样本中，计算形状偏差：

$$ \text{Shape Bias} = \frac{\text{预测为形状类别的正确次数}}{\text{预测为形状类别的正确次数} + \text{预测为纹理类别的正确次数}} $$

提示：官方强烈建议使用 平均概率聚合方法 (average aggregation)，即将细粒度类别的概率取平均值映射到大类，而非求和或取最大值。