基于深度图神经网络的欺诈检测工具箱

简介

2021年5月更新： DGFraud 已升级至 TensorFlow 2.0！请查看 DGFraud-TF2

DGFraud 是一个基于图神经网络（GNN）的欺诈检测工具箱。它集成了当前最先进的 GNN 款式欺诈检测模型的实现与对比。已实现模型的介绍可参见 此处。

我们欢迎贡献者加入，以新增欺诈检测器并扩展该工具箱的功能。部分计划中的功能列于 待办事项列表。

如果您在项目中使用本工具箱，请引用以下两篇论文之一以及您所使用的 算法：

CIKM'20 (PDF)

@inproceedings{dou2020enhancing,
  title={Enhancing Graph Neural Network-based Fraud Detectors against Camouflaged Fraudsters},
  author={Dou, Yingtong and Liu, Zhiwei and Sun, Li and Deng, Yutong and Peng, Hao and Yu, Philip S},
  booktitle={Proceedings of the 29th ACM International Conference on Information and Knowledge Management (CIKM'20)},
  year={2020}
}

SIGIR'20 (PDF)

@inproceedings{liu2020alleviating,
  title={Alleviating the Inconsistency Problem of Applying Graph Neural Network to Fraud Detection},
  author={Liu, Zhiwei and Dou, Yingtong and Yu, Philip S. and Deng, Yutong and Peng, Hao},
  booktitle={Proceedings of the 43nd International ACM SIGIR Conference on Research and Development in Information Retrieval},
  year={2020}
}

有用资源

• PyGOD：用于图异常检测的 Python 库
• UGFraud：无监督图基欺诈检测工具箱
• 图基欺诈检测论文列表
• 优秀欺诈检测论文
• 图数据上的攻击与防御相关论文
• PyOD：用于大规模异常检测的 Python 工具箱
• PyODD：端到端异常检测系统
• DGL：深度图库
• 异常检测数据集（ODDS）

目录

• 安装
• 数据集
• 用户指南
• 已实现模型
• 模型比较
• 待办事项列表
• 如何贡献

安装

git clone https://github.com/safe-graph/DGFraud.git
cd DGFraud
python setup.py install

需求

* python 3.6, 3.7
* tensorflow>=1.14.0,<2.0
* numpy>=1.16.4
* scipy>=1.2.0
* networkx<=1.11

数据集

DBLP

我们使用来自 Jhy1993/HAN 的预处理 DBLP 数据集。 您可以基于 DBLP 数据集运行 FdGars、Player2Vec、GeniePath 和 GEM。 在使用数据集之前，请先解压缩：

cd dataset
unzip DBLP4057_GAT_with_idx_tra200_val_800.zip

示例数据集

我们在 data_loader.py 中实现了 SemiGNN、GAS 和 GEM 的示例图。由于这些模型需要独特的图结构或节点类型，而开源数据集并不具备这些条件。

Yelp 数据集

针对 GraphConsis，我们对 Yelp 垃圾评论数据集 进行了预处理，将评论作为节点，三种关系作为边。

该 .mat 格式的数据集位于 /dataset/YelpChi.zip。.mat 文件包含：

• net_rur, net_rtr, net_rsr：三张稀疏矩阵，分别代表 GraphConsis 论文中定义的三个同质图；
• features：一张 32 维手工特征的稀疏矩阵；
• label：一个包含节点真实标签的 NumPy 数组。1 表示垃圾评论，0 表示正常评论。

YelpChi 数据预处理的详细信息可在我们的 CIKM'20 论文中找到。 如需获取 Yelp 数据集的完整元数据，请发送邮件至 ytongdou@gmail.com 咨询。

用户指南

运行示例代码

您可以在 algorithms 目录中找到已实现的模型。例如，您可以使用以下命令运行 Player2Vec：

python Player2Vec_main.py 

运行代码时，您可以指定模型参数。

在您的数据集上运行

请参阅 utils/utils.py 中的 load_data_dblp() 函数以获取示例。

要使用您自己的数据，您需要提供：

• 邻接矩阵或邻接表（适用于 GAS）；
• 特征矩阵；
• 标签矩阵； 然后将特征矩阵和标签矩阵划分为测试数据和训练数据。

您可以按如下方式指定数据集：

python xx_main.py --dataset your_dataset 

或者直接编辑 xx_main.py。

代码结构

该仓库的组织如下：

• algorithms/ 包含已实现的模型及其对应的示例代码；
• base_models/ 包含基础模型（GCN）；
• dataset/ 包含必要的数据文件；
• utils/ 包括：
  • 数据加载与拆分（data_loader.py）；
  • 各种实用工具（utils.py）。

已实现模型

模型	论文	会议/期刊	参考文献
SemiGNN	用于金融欺诈检测的半监督图注意力网络	ICDM 2019	BibTex
Player2Vec	基于属性异构信息网络嵌入框架的地下论坛关键人物识别	CIKM 2019	BibTex
GAS	利用图卷积网络进行垃圾评论检测	CIKM 2019	BibTex
FdGars	FdGars：基于图卷积网络的在线应用评论系统中的欺诈者检测	WWW 2019	BibTex
GeniePath	GeniePath：具有自适应感受野路径的图神经网络	AAAI 2019	BibTex
GEM	用于恶意账号检测的异构图神经网络	CIKM 2018	BibTex
GraphSAGE	大规模图上的归纳表示学习	NIPS 2017	BibTex
GraphConsis	缓解图神经网络应用于欺诈检测时的一致性问题	SIGIR 2020	BibTex
HACUD	基于属性异构信息网络并结合层次化注意力机制的套现用户检测	AAAI 2019	BibTex

模型对比

模型	应用场景	图类型	基础模型
SemiGNN	金融欺诈	异构	GAT, LINE, DeepWalk
Player2Vec	网络犯罪	异构	GAT, GCN
GAS	评论欺诈	异构	GCN, GAT
FdGars	评论欺诈	同构	GCN
GeniePath	金融欺诈	同构	GAT
GEM	金融欺诈	异构	GCN
GraphSAGE	评论欺诈	同构	GraphSAGE
GraphConsis	评论欺诈	异构	GraphSAGE
HACUD	金融欺诈	异构	GAT

待办事项

• 实现小批量训练
• GEM模型的对数损失计算
• GEM模型的时间采样方法
• 添加更多采样方法
• 对齐当前最优模型进行基准测试
• 实现可扩展的版本
• PyTorch实现

如何贡献

欢迎各位为本开源工具库贡献力量。详细的贡献指南将很快发布。目前，您可以通过创建Issue或发送邮件至bdscsafegraph@gmail.com进行咨询。

DGFraud 快速上手指南

DGFraud 是一个基于图神经网络（GNN）的欺诈检测工具箱，集成了多种前沿的欺诈检测模型实现与对比。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.6 或 3.7
• 核心依赖：
  • TensorFlow: >=1.14.0, <2.0 (注意：本项目基于 TF 1.x，若需 TF 2.0 版本请参考 DGFraud-TF2)
  • NumPy: >=1.16.4
  • SciPy: >=1.2.0
  • NetworkX: <=1.11

提示：国内用户建议使用清华源或阿里源加速 Python 包的安装。

安装步骤

1. 克隆项目代码

   git clone https://github.com/safe-graph/DGFraud.git
   cd DGFraud
   

2. 安装依赖并构建 执行以下命令自动安装所需依赖并完成项目配置：

   python setup.py install
   

   如果上述命令未自动安装 Python 依赖，请手动执行：

   pip install -r requirements.txt
   # 或者手动安装指定版本
   pip install "tensorflow>=1.14.0,<2.0" "numpy>=1.16.4" "scipy>=1.2.0" "networkx<=1.11"
   

3. 准备数据集 以 DBLP 数据集为例，进入数据目录并解压：

   cd dataset
   unzip DBLP4057_GAT_with_idx_tra200_val_800.zip
   cd ..
   

基本使用

运行示例模型

项目已在 algorithms 目录下实现了多种模型（如 Player2Vec, FdGars, GraphConsis 等）。直接运行对应的 _main.py 文件即可启动训练和评估。

例如，运行 Player2Vec 模型：

python Player2Vec_main.py

使用自定义数据集

若需使用自己的数据，需准备以下文件：

• 邻接矩阵或邻接表（针对 GAS 模型）
• 特征矩阵 (features)
• 标签向量 (label)

参考 utils/utils.py 中的 load_data_dblp() 函数编写数据加载逻辑，将数据划分为训练集和测试集。

运行自定义数据时，可通过参数指定：

python xx_main.py --dataset your_dataset

或者直接编辑 xx_main.py 文件中的数据加载路径和参数。

代码结构说明

• algorithms/: 包含已实现的各类欺诈检测模型及示例脚本。
• base_models/: 包含基础模型（如 GCN）。
• dataset/: 存放预处理后的数据集文件。
• utils/: 包含数据加载 (data_loader.py) 和通用工具函数 (utils.py)。