异常暴露

本仓库包含论文 深度异常检测中的异常暴露（ICLR 2019）的核心代码。

需要 Python 3 及以上版本和 PyTorch 0.4.1 及以上版本。

概述

异常暴露（OE）是一种用于提升深度学习模型异常检测性能的方法。通过使用分布外数据集，我们对分类器进行微调，使模型学会区分异常样本与分布内样本的启发式规则。关键在于，这些规则能够泛化到新的数据分布上。与 ODIN 不同，OE 不需要为每个 OOD 数据集训练一个单独的模型，也不需要在 OOD 数据集的“验证”样本上进行调优即可生效。本仓库仅包含校准和多分类实验的部分内容。完整的实验结果和方法描述请参阅原文。

本仓库中包含了 NLP 实验以及针对 SVHN、CIFAR-10、CIFAR-100 和 Tiny ImageNet 的多分类与校准实验的代码。

异常数据集

8000 万张小图像数据集可在此下载（镜像链接）。

如果您不想使用 8000 万张小图像数据集，我们准备了一个经过清理（“去偏”）的子集，包含 30 万张图像。我们从中移除了属于 CIFAR 类别的图像、属于 Places 或 LSUN 类别的图像，以及带有干扰性元数据的图像。

30 万张随机图像可在此下载。

引用

如果您在研究中使用了本项目，请考虑引用以下文献：

@article{hendrycks2019oe,
  title={Deep Anomaly Detection with Outlier Exposure},
  author={Hendrycks, Dan and Mazeika, Mantas and Dietterich, Thomas},
  journal={Proceedings of the International Conference on Learning Representations},
  year={2019}
}

异常数据集

这些实验使用了多个异常数据集。一些较为少见的数据集的下载链接如下：8000 万张小图像数据集（镜像链接）、Icons-50、Textures、Chars74K 以及 Places365。

Outlier Exposure 快速上手指南

Outlier Exposure (OE) 是一种通过引入分布外（Out-of-Distribution, OOD）数据来微调分类器的方法，旨在提升深度学习模型在异常检测任务中的性能。该方法学习到的启发式规则能够泛化到新的分布中，且无需针对每个 OOD 数据集单独训练模型或调整验证集参数。

环境准备

在开始之前，请确保您的开发环境满足以下系统要求和前置依赖：

• Python: 版本 3.0 及以上
• PyTorch: 版本 0.4.1 及以上
• 其他依赖: 建议安装 numpy 等常用科学计算库以支持数据处理。

提示：国内用户建议使用清华源或阿里源加速 PyTorch 及相关依赖的安装。

安装步骤

1. 克隆仓库 将代码库克隆到本地：

   git clone https://github.com/hendrycks/outlier-exposure.git
   cd outlier-exposure
   

2. 安装依赖 确保已安装符合版本的 PyTorch。如果尚未安装，可参考 PyTorch 官网选择适合您环境的安装命令。例如，使用 pip 安装基础依赖：

   pip install torch>=0.4.1
   pip install numpy
   

   (注：具体其他 Python 包依赖请根据项目中的 requirements.txt 文件进行安装，若存在该文件)

基本使用

本仓库主要包含 NLP 实验以及 SVHN、CIFAR-10、CIFAR-100 和 Tiny ImageNet 的多分类与校准实验代码。以下是获取关键数据和运行实验的基本流程。

1. 准备离群值数据集 (Outlier Dataset)

OE 方法的核心在于使用辅助的离群值数据进行训练。您可以选择以下两种数据集之一：

• 选项 A：80 Million Tiny Images (完整数据集) 下载地址（镜像链接）： http://www.archive.org/download/80-million-tiny-images-2-of-2/tiny_images.bin

• 选项 B：300K Random Images (清洗后的子集，推荐) 这是一个去偏（debiased）的子集，已移除属于 CIFAR、Places、LSUN 类别的图像及具有争议元数据的图像。 下载地址： https://people.eecs.berkeley.edu/~hendrycks/300K_random_images.npy

其他可能用到的离群值数据集包括：Icons-50, Textures, Chars74K, 和 Places365。

2. 运行实验

由于 README 未提供统一的入口脚本，通常需要根据具体的实验目标（如 CIFAR-10 异常检测）运行对应的 Python 脚本。一般流程如下：

1. 下载上述离群值数据集并放置在代码指定的目录中。

2. 下载标准基准数据集（如 CIFAR-10），PyTorch 通常会自动下载。

3. 运行相应的训练或评估脚本。例如，针对 CIFAR-10 的实验可能涉及类似以下的命令结构（具体文件名请参考仓库内的 .py 文件）：

   # 示例伪代码，具体参数请参考源码中的 main.py 或 train.py
   python train.py --dataset cifar10 --outlier_dataset path/to/300K_random_images.npy
   

请查阅仓库中具体的 Python 脚本以获取详细的命令行参数配置。更多实验结果和方法细节请参阅原论文 Deep Anomaly Detection with Outlier Exposure。