:tada: 更新（2021年8月）：

您是否想了解您的模型在处理具有挑战性的风格化图像时的表现如何？请查看 bethgelab/model-vs-human 提供的全面工具箱，它支持风格化数据（附有人类对比数据），并配有用于评估任意 PyTorch 或 TensorFlow 模型的代码。只需加载您喜欢的模型，点击运行，即可获得一份关于分布外泛化行为的完整 PDF 报告，其中包含可以直接使用的图表！

Stylized-ImageNet

本仓库包含创建 Stylized-ImageNet 的相关信息和代码。Stylized-ImageNet 是 ImageNet 的风格化版本，可用于在 CNN 中引入形状偏好，如我们在论文《ImageNet 上训练的 CNN 倾向于纹理；增强形状偏好可提高准确性和鲁棒性》（作者：Robert Geirhos、Patricia Rubisch、Claudio Michaelis、Matthias Bethge、Felix A. Wichmann 和 Wieland Brendel）中所述。我们希望本仓库能为您的研究提供有用的资源。请注意，与该论文相关的所有代码、数据和材料均已在另一个仓库中提供，即 rgeirhos:texture-vs-shape。

如有任何问题，请随时通过 robert.geirhos@bethgelab.org 与我联系，或在 Issues 中提出！

示例图像

以下是同一张 ImageNet 图像经过不同风格化处理后的示例：
如您所见，在风格化过程中，局部纹理被严重扭曲，而物体的整体形状则基本保持不变。这使得 Stylized-ImageNet 成为一种有效的数据集，能够引导 CNN 更加关注形状信息，而非局部纹理。

使用方法

1. 获取风格化图像（绘画作品）。从 Kaggle 的 “painter-by-numbers” 数据集下载 train.zip；将其中的绘画作品解压到新目录 code/paintings_raw/ 中（约 38GB）。
2. 获取 ImageNet 图像并设置路径。如果您已有 ImageNet 图像，请在 code/general.py 中相应地设置 IMAGENET_PATH 变量。如果没有，请从 ImageNet 官网 (image-net.org) 下载 ImageNet 图像并存储在本地，然后设置该变量。请注意，ImageNet 图像需要分为两个子目录：“train/” 和 “val/”，分别用于训练和验证数据。此外，还需设置 STYLIZED_IMAGENET_PATH 变量（同样在 code/general.py 中）。该变量指定了您希望存储最终数据集的路径。请确保磁盘空间充足：在我们的设置中，Stylized-ImageNet 需要 134GB 的存储空间，略低于标准 ImageNet 的 181GB。
3. 进入 code/ 目录，执行 create_stylized_imagenet.sh 脚本（假设您有 GPU）。最简便的方式是使用我们提供的 Docker 镜像（详见下文）。此脚本将在您在第 2 步中指定的目录中生成 Stylized-ImageNet。
4. 您可以选择删除不再需要的 paintings_raw/、paintings_excluded/ 和 paintings_preprocessed/ 目录。

注意：如果遇到问题，您可以考虑使用 bethgelab/stylize-datasets，它提供了类似的功能，但适用范围更广。

Docker 镜像

为了方便您无需手动安装所有依赖库，我们提供了 Docker 镜像：https://hub.docker.com/r/bethgelab/deeplearning/。该镜像已在 bethgelab/deeplearning:cuda9.0-cudnn7 上测试通过。

在 Stylized-ImageNet 上预训练的 CNN

我们在 rgeirhos:texture-vs-shape 中提供了在 Stylized-ImageNet 上训练好的 CNN 模型。

训练细节

通常，在训练模型时，ImageNet 图像会使用标准的 ImageNet 均值和标准差进行归一化。Stylized-ImageNet 可以作为 ImageNet 的直接替代品用于训练，也就是说，我们论文中的结果正是基于与 ImageNet 图像相同的归一化方式得出的。具体而言，在训练过程中，我们对两种数据集都使用了来自 PyTorch ImageNet 示例训练脚本（GitHub 地址）的均值和标准差参数。

对任意数据集进行风格化

本仓库专为创建 ImageNet 的风格化版本而设计。如果您有兴趣对其他数据集进行风格化，建议使用以下代码：https://github.com/bethgelab/stylize-datasets，它可以对任意图像数据集进行风格化处理。

常见问题解答：能否直接分享数据集（例如通过下载链接）？

很遗憾，我们无法直接提供数据集下载。不过，您可以自行对数据集进行风格化处理（参见上文），也可以寻找您所在机构中已经完成此工作的人员，或者使用 bethgelab/model-vs-human 提供的 16 类“stylized”版本作为替代方案。该版本可通过工具箱下载，或直接从 这里 获取。

致谢

本代码大量借鉴了 Naoto Inoue（naoto0804）的 pytorch-AdaIN GitHub 仓库，该仓库实现了 X. Huang 和 S. Belongie 在 ICCV 2017 上发表的 AdaIN 风格迁移方法——“实时自适应实例归一化实现任意风格迁移”。事实上，整个 AdaIN 实现均源自该仓库。为了使任何人都能以尽可能少的努力创建 Stylized-ImageNet，我们将预处理、风格迁移等步骤整合到一个统一的仓库中。

如果您认为 Stylized-ImageNet 对您的工作有所帮助，请考虑引用以下文献：

@inproceedings{geirhos2019,
  title={ImageNet-trained {CNN}s are biased towards texture; increasing shape bias improves accuracy and robustness.},
  author={Robert Geirhos and Patricia Rubisch and Claudio Michaelis and Matthias Bethge and Felix A Wichmann and Wieland Brendel},
  booktitle={International Conference on Learning Representations},
  year={2019},
  url={https://openreview.net/forum?id=Bygh9j09KX},
}

Stylized-ImageNet 快速上手指南

Stylized-ImageNet 是 ImageNet 的风格化版本，旨在通过破坏局部纹理而保留全局形状，引导卷积神经网络（CNN）学习形状偏差而非纹理偏差，从而提升模型的准确性和鲁棒性。

环境准备

• 操作系统: Linux (推荐)
• 硬件要求:
  • GPU: 必须拥有支持 CUDA 的 NVIDIA GPU（用于加速风格迁移过程）。
  • 存储空间: 至少需要 150GB 可用空间（原始 ImageNet 约 181GB，生成的 Stylized-ImageNet 约 134GB，加上临时文件）。
• 前置依赖:
  • Docker (强烈推荐): 为避免复杂的环境配置，官方提供了预装所有依赖的 Docker 镜像。
  • 数据集:
    1. 已下载的 ImageNet 数据集（需包含 train/ 和 val/ 子目录）。
    2. Painter-by-Numbers 风格图像数据集（来自 Kaggle）。

安装步骤

1. 获取风格图像 (Paintings)

从 Kaggle 下载 train.zip 并解压到项目指定目录：

# 假设已下载 train.zip 到当前目录
mkdir -p code/paintings_raw
unzip train.zip -d code/paintings_raw/
# 注意：解压后内容约为 38GB

2. 配置路径

编辑 code/general.py 文件，设置以下变量：

• IMAGENET_PATH: 指向你本地已有的 ImageNet 数据集根目录。
• STYLIZED_IMAGENET_PATH: 指向你希望存储生成的 Stylized-ImageNet 数据集的目标目录。

3. 使用 Docker 运行 (推荐)

拉取官方提供的深度学习镜像并运行生成脚本。该镜像基于 bethgelab/deeplearning:cuda9.0-cudnn7 测试通过。

# 拉取镜像
docker pull bethgelab/deeplearning:cuda9.0-cudnn7

# 运行容器并挂载当前目录
# 请将 <YOUR_LOCAL_PATH> 替换为你当前仓库的绝对路径
docker run --gpus all -it --rm \
  -v <YOUR_LOCAL_PATH>:/workspace/stylized-imagenet \
  -w /workspace/stylized-imagenet/code \
  bethgelab/deeplearning:cuda9.0-cudnn7 \
  bash create_stylized_imagenet.sh

执行上述命令后，脚本将自动开始处理图像并生成风格化数据集。

4. 清理临时文件 (可选)

生成完成后，可删除不再需要的中间文件以释放空间：

rm -rf paintings_raw/ paintings_excluded/ paintings_preprocessed/

基本使用

生成完成后，STYLIZED_IMAGENET_PATH 目录下即为可用的 Stylized-ImageNet 数据集。其目录结构与标准 ImageNet 完全一致，可直接作为训练数据加载。

PyTorch 训练示例片段：

在训练代码中，只需将数据加载路径指向新生成的数据集，并保持与标准 ImageNet 相同的归一化参数（Mean 和 Std）：

import torchvision.transforms as transforms
import torchvision.datasets as datasets

# 定义归一化参数 (与标准 ImageNet 一致)
normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406],
                                 std=[0.229, 0.224, 0.225])

# 加载 Stylized-ImageNet 数据集
stylized_dataset = datasets.ImageFolder(
    root='/path/to/your/STYLIZED_IMAGENET_PATH/train', # 替换为你的实际路径
    transform=transforms.Compose([
        transforms.Resize(256),
        transforms.CenterCrop(224),
        transforms.ToTensor(),
        normalize,
    ])
)

# 后续即可像使用普通 ImageNet 一样构建 DataLoader 进行训练

提示: 如果你需要风格化其他非 ImageNet 数据集，建议使用更通用的工具库 bethgelab/stylize-datasets。