Deep SVDD 的 PyTorch 实现

本仓库提供了我们在 ICML 2018 论文《Deep One-Class Classification》中提出的 Deep SVDD 方法的 PyTorch 实现。

引用与联系信息

您可以在以下链接找到 ICML 2018 论文《Deep One-Class Classification》的 PDF 版本： http://proceedings.mlr.press/v80/ruff18a.html。

如果您使用了我们的工作，请同时引用该论文：

@InProceedings{pmlr-v80-ruff18a,
  title     = {Deep One-Class Classification},
  author    = {Ruff, Lukas and Vandermeulen, Robert A. and G{\"o}rnitz, Nico and Deecke, Lucas and Siddiqui, Shoaib A. and Binder, Alexander and M{\"u}ller, Emmanuel and Kloft, Marius},
  booktitle = {Proceedings of the 35th International Conference on Machine Learning},
  pages     = {4393--4402},
  year      = {2018},
  volume    = {80},
}

如需联系，欢迎发送邮件至 contact@lukasruff.com。

摘要

尽管深度学习在许多机器学习任务中取得了巨大进展，但在异常检测领域，基于深度学习的方法仍然相对匮乏。现有的方法通常依赖于经过训练以执行其他任务（如生成模型或压缩）的网络，并将其调整用于异常检测；这些方法并未直接针对异常检测目标进行训练。在本文中，我们提出了一种新的异常检测方法——Deep Support Vector Data Description——它直接基于异常检测目标进行训练。为了适应深度学习框架，我们的神经网络和训练过程必须满足某些特定性质，我们从理论上证明了这些性质。我们在 MNIST 和 CIFAR-10 图像基准数据集上，以及在检测 GTSRB 停车标志的对抗样本时，展示了该方法的有效性。

安装

此代码使用 Python 3.7 编写，并需要 requirements.txt 文件中列出的软件包。

将仓库克隆到您的本地机器和选定目录：

git clone https://github.com/lukasruff/Deep-SVDD-PyTorch.git

为运行代码，我们建议设置一个虚拟环境，例如使用 virtualenv 或 conda：

virtualenv

# 安装 virtualenv
pip install virtualenv
cd <Deep-SVDD-PyTorch 仓库路径>
virtualenv myenv
source myenv/bin/activate
pip install -r requirements.txt

conda

cd <Deep-SVDD-PyTorch 仓库路径>
conda create --name myenv
source activate myenv
while read requirement; do conda install -n myenv --yes $requirement; done < requirements.txt

运行实验

我们目前已实现了 MNIST（http://yann.lecun.com/exdb/mnist/）和 CIFAR-10（https://www.cs.toronto.edu/~kriz/cifar.html）数据集，以及简单的 LeNet 类型网络。

请查看 main.py 文件，了解所有可能的参数和选项。

MNIST 示例

cd <Deep-SVDD-PyTorch 仓库路径>

# 激活虚拟环境
source myenv/bin/activate  # 或者使用 conda 的 'source activate myenv'

# 创建实验输出文件夹
mkdir log/mnist_test

# 切换到源代码目录
cd src

# 运行实验
python main.py mnist mnist_LeNet ../log/mnist_test ../data --objective one-class --lr 0.0001 --n_epochs 150 --lr_milestone 50 --batch_size 200 --weight_decay 0.5e-6 --pretrain True --ae_lr 0.0001 --ae_n_epochs 150 --ae_lr_milestone 50 --ae_batch_size 200 --ae_weight_decay 0.5e-3 --normal_class 3;

此示例训练了一个单类 Deep SVDD 模型，其中数字 3 (--normal_class 3) 被视为正常类别。使用自编码器预训练来初始化参数。

CIFAR-10 示例

cd <Deep-SVDD-PyTorch 仓库路径>

# 激活虚拟环境
source myenv/bin/activate  # 或者使用 conda 的 'source activate myenv'

# 创建实验输出文件夹
mkdir log/cifar10_test

# 切换到源代码目录
cd src

# 运行实验
python main.py cifar10 cifar10_LeNet ../log/cifar10_test ../data --objective one-class --lr 0.0001 --n_epochs 150 --lr_milestone 50 --batch_size 200 --weight_decay 0.5e-6 --pretrain True --ae_lr 0.0001 --ae_n_epochs 350 --ae_lr_milestone 250 --ae_batch_size 200 --ae_weight_decay 0.5e-6 --normal_class 3;

此示例训练了一个单类 Deep SVDD 模型，其中猫 (--normal_class 3) 被视为正常类别。同样使用自编码器预训练来初始化参数。

示例

MNIST

根据 Deep SVDD 的异常分数，MNIST 数据集中每个类别的 32 个最正常（左）和 32 个最异常（右）测试样本示例。

CIFAR-10

根据 Deep SVDD 的异常分数，CIFAR-10 数据集中每个类别的 32 个最正常（左）和 32 个最异常（右）测试样本示例。

许可证

MIT

Deep-SVDD-PyTorch 快速上手指南

Deep-SVDD（Deep Support Vector Data Description）是一种基于深度学习的异常检测方法，专为单分类（One-Class Classification）任务设计。本指南帮助中国开发者快速在本地搭建并运行该工具。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.7
• 核心依赖：PyTorch 及其他基础科学计算库（详见 requirements.txt）
• 网络建议：由于依赖包托管于国外源，国内用户建议使用清华或阿里镜像源加速安装。

安装步骤

1. 克隆项目

将代码仓库克隆到本地任意目录：

git clone https://github.com/lukasruff/Deep-SVDD-PyTorch.git
cd Deep-SVDD-PyTorch

2. 创建虚拟环境

推荐使用 conda 或 virtualenv 隔离环境。

方案 A：使用 Conda（推荐）

conda create --name deep_svdd python=3.7
conda activate deep_svdd
# 使用国内镜像源加速安装依赖
while read requirement; do conda install -n deep_svdd --yes $requirement -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/; done < requirements.txt

方案 B：使用 Virtualenv

pip install virtualenv
virtualenv myenv
source myenv/bin/activate  # Windows 用户请使用: myenv\Scripts\activate
# 使用 pip 国内镜像源安装依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

本项目内置了 MNIST 和 CIFAR-10 数据集的示例脚本。以下以 MNIST 数据集为例，演示如何训练一个将数字 "3" 视为正常类的异常检测模型。

1. 准备目录

在项目根目录下创建日志输出文件夹：

mkdir log/mnist_test

2. 运行实验

进入 src 目录并执行训练命令。该命令会自动下载数据、预训练自编码器并进行 Deep SVDD 主训练。

cd src

python main.py mnist mnist_LeNet ../log/mnist_test ../data --objective one-class --lr 0.0001 --n_epochs 150 --lr_milestone 50 --batch_size 200 --weight_decay 0.5e-6 --pretrain True --ae_lr 0.0001 --ae_n_epochs 150 --ae_lr_milestone 50 --ae_batch_size 200 --ae_weight_decay 0.5e-3 --normal_class 3

参数说明：

• --normal_class 3：指定数字 3 为“正常”样本，其他数字将被视为异常。
• --pretrain True：启用自编码器预训练以初始化网络参数，有助于提升收敛效果。
• ../data：数据将自动下载至此目录（若不存在）。

训练完成后，模型权重及实验日志将保存在 ../log/mnist_test 目录中。对于 CIFAR-10 数据集，只需将命令中的 mnist 相关参数替换为 cifar10 对应配置即可（参考原 README 中的 CIFAR-10 example）。