GBDT_简易教程（梯度提升树简易教程）

简介

利用Python实现GBDT算法的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，便于读者庖丁解牛地理解GBDT。

项目进度：

• 回归
• 二分类
• 多分类
• 可视化

---

算法原理以及公式推导请前往blog：GBDT算法原理以及实例理解

---

依赖环境

• 操作系统：Windows/Linux
• 编程语言：Python3
• Python库：pandas、PIL、pydotplus， 其中pydotplus库会自动调用Graphviz，所以需要去Graphviz官网下载graphviz的-2.38.msi ，先安装，再将安装目录下的bin添加到系统环境变量，此时如果再报错可以重启计算机。详细过程不再描述，网上很多解答。

文件结构

• | - GBDT 主模块文件夹
• | --- gbdt.py 梯度提升算法主框架
• | --- decision_tree.py 单颗树生成，包括节点划分和叶子结点生成
• | --- loss_function.py 损失函数
• | --- tree_plot.py 树的可视化
• | - example.py 回归/二分类/多分类测试文件

运行指南

• 回归测试：

  python example.py --model = regression

• 二分类测试：

  python example.py --model = binary_cf

• 多分类测试：

  python example.py --model = multi_cf

• 其他可配置参数：lr -- 学习率, trees -- 构建的决策树数量即迭代次数,
  depth -- 决策树的深度, count -- 决策树节点分裂的最小数据数量, is_log -- 是否打印树的生成过程, is_plot -- 是否可视化树的结构.

• 结果文件： 运行后会生成results文件夹,里面包含了每棵树的内部结构和生成日志

结果展示

仅展示最后所有树的集合，具体每棵树的详细信息望读者自行运行代码~

GBDT_Simple_Tutorial 快速上手指南

本指南旨在帮助开发者快速部署并运行基于 Python 原生实现的梯度提升树（GBDT）算法教程，支持回归、二分类及多分类任务，并提供算法流程可视化功能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows 或 Linux
• 编程语言：Python 3
• 核心依赖库：pandas, PIL (Pillow), pydotplus
• 可视化工具：Graphviz
  • pydotplus 依赖 Graphviz 进行绘图。
  • 下载：请访问 Graphviz 官网 下载 graphviz-2.38.msi (Windows) 或使用包管理器安装 (Linux)。
  • 配置：安装完成后，务必将 Graphviz 安装目录下的 bin 文件夹路径添加到系统环境变量 PATH 中。若配置后仍报错，建议重启计算机生效。

安装步骤

1. 安装 Python 依赖库 推荐使用国内镜像源加速安装：

   pip install pandas Pillow pydotplus -i https://pypi.tuna.tsinghua.edu.cn/simple
   

2. 获取项目代码 克隆仓库或下载源码到本地：

   git clone https://github.com/Freemanzxp/GBDT_Simple_Tutorial.git
   cd GBDT_Simple_Tutorial
   

3. 验证 Graphviz 配置 在终端输入 dot -V，若能输出版本号则说明环境变量配置成功。

基本使用

项目通过 example.py 脚本提供三种模式的测试。运行后将在当前目录生成 results 文件夹，包含每棵决策树的结构图及生成日志。

1. 回归任务测试

python example.py --model = regression

2. 二分类任务测试

python example.py --model = binary_cf

3. 多分类任务测试

python example.py --model = multi_cf

高级参数配置

您可以根据需要调整以下参数以观察不同效果：

• lr: 学习率
• trees: 构建的决策树数量（迭代次数）
• depth: 决策树的最大深度
• count: 节点分裂所需的最小样本数
• is_log: 是否打印树的生成过程日志 (True/False)
• is_plot: 是否可视化树的结构 (True/False)

示例：自定义参数运行

python example.py --model = regression --lr 0.1 --trees 5 --depth 3 --is_plot True