DeepGBM

本文实现了论文《DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks》中的方法，该论文已被KDD'2019研究轨道接收为口头报告论文。您可以通过视频和论文获取更多信息。

如果您在研究中发现此代码有用，请引用论文：

Guolin Ke, Zhenhui Xu, Jia Zhang, Jiang Bian, and Tie-Yan Liu. "DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks." In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 2019: 384-394.

简介

本仓库为我们论文中的实验代码而构建，包含所有数据预处理、基线模型实现和提出的模型实现（完整代码在此）。为快速入门，这里我们仅展示与我们模型相关的代码。对于基于GBDT的模型，我们的实现基于LightGBM。对于基于神经网络（NN）的模型，我们的实现基于pytorch。

项目中有三个主要文件夹：data用于数据存储，preprocess包含特征选择和编码的文件夹，models包含所提出模型的所有实现代码。更详细的实验代码，请参考experiments文件夹。

此外，main.py是我们模型的入口代码文件。data_helpers.py包含数据加载器，helper.py包含神经网络的一般训练和测试逻辑。train_models.py用于模型的具体训练过程。在models中，有一些主要模型的实现。tree_model_interpreter.py用于解释训练好的GBDT的结构。

环境设置

主要依赖如下：

• Python==3.6.6
• LightGBM==2.2.1
• Pytorch==0.4.1
• Sklearn==0.19.2

快速开始

所有数据集应首先转换为*.csv*文件，然后由preprocess中的编码器处理。每个数据集使用的特征可以在preprocess/encoding_*.py中看到，特别是主函数。

要运行DeepGBM，完成上述步骤后，您将准备好*.npy*格式的数据。然后我们可以使用data_helpers.py中的函数加载其数值部分和分类部分：

num_data = dh.load_data(args.data+'_num')
cate_data = dh.load_data(args.data+'_cate')
# 以下是为更快的CatNN输入设计的
cate_data = dh.trans_cate_data(cate_data)

相反，如果您只运行GBDT2NN或CatNN，您可以只将数值数据或分类数据输入模型。 然后，您可以调用train_models.py中的函数，例如：

train_GBDT2NN(args, num_data, plot_title)
# 或
train_DEEPGBM(args, num_data, cate_data, plot_title)

感谢您的访问，如果您有任何问题，请新建一个issue。

DeepGBM 快速上手指南

概述

DeepGBM 是一个基于深度学习的框架，通过 GBDT（梯度提升决策树）进行知识蒸馏，适用于在线预测任务。本指南将帮助您快速搭建环境并运行一个简单示例。

环境准备

系统要求

• Python 3.6.6
• 支持 PyTorch 的操作系统（如 Linux、macOS）

前置依赖

安装前请确保已配置好 Python 环境，推荐使用 conda 或 virtualenv 创建独立环境。

安装步骤

1. 克隆仓库

   git clone https://github.com/motefly/DeepGBM.git
   cd DeepGBM
   

2. 安装 Python 依赖

   pip install lightgbm==2.2.1 torch==0.4.1 scikit-learn==0.19.2
   

   注：如需加速下载，可使用国内 PyPI 镜像源（如清华源）：-i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

数据准备

1. 将数据集转换为 .csv 格式文件
2. 使用 preprocess 目录中的编码器进行数据预处理：

   python preprocess/encoding_你的数据集.py
   

运行示例

以下是一个加载数据并训练 DeepGBM 模型的最小示例：

import data_helpers as dh

# 加载数值型和分类型数据
num_data = dh.load_data('数据集名称_num')
cate_data = dh.load_data('数据集名称_cate')
cate_data = dh.trans_cate_data(cate_data)  # 为 CatNN 优化格式

# 训练模型（示例参数）
args = 你的参数配置
plot_title = "训练结果"
train_DEEPGBM(args, num_data, cate_data, plot_title)

快速启动脚本

您可以直接使用提供的入口文件运行完整流程：

python main.py --data 你的数据集名称

下一步

• 查看 experiments 文件夹获取更多实验代码
• 参考 models 目录了解模型实现细节
• 修改 train_models.py 中的参数以适配您的任务需求