神经无感知决策集成

《用于表格数据深度学习的神经无感知决策集成》论文的补充代码。

它的作用是什么？

它在表格数据上学习由无感知可微分决策树组成的深度集成模型。

运行它需要什么？

• 一台配备一定CPU（最好有2个或以上空闲核心）和GPU的机器
  • 不使用GPU也可以运行，但即使在高端CPU上也会慢8到10倍。
  • 我们的实现内存效率较低，可能需要大量的GPU显存才能收敛。
• 某种流行的Linux x64发行版
  • 已在Ubuntu 16.04上测试过，在任何主流的Linux 64位系统甚至macOS上应该也能正常工作；
  • Windows和x32系统可能需要复杂的配置才能运行；
  • 如有疑问，建议使用Docker，最好是支持GPU的版本（即nvidia-docker）。

如何运行它？

1. 克隆或下载本仓库，并进入其根目录。
2. 获取或搭建一个可用的Python环境。Anaconda即可。
3. 安装requirements.txt中的依赖包。

• 务必使用__torch >= 1.1__，不要使用1.0或更早版本。
• 还需要Jupyter或其他方式来运行.ipynb文件。

4. 启动Jupyter Notebook，并打开./notebooks/中的笔记本。

• 在运行第一个单元格之前，请将%env CUDA_VISIBLE_DEVICES=#修改为你计划使用的GPU编号。
• 笔记本会从Dropbox下载数据，根据数据集的不同，你需要预留__1-5GB__的磁盘空间。

我们展示了分类和回归任务的两种典型学习场景。训练细节请参考原文。

Neural Oblivious Decision Ensembles (NODE) 快速上手指南

NODE 是一个用于表格数据深度学习的开源工具，能够学习“无意识可微决策树”的深度集成模型。本指南将帮助你快速在本地环境中运行该工具。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：推荐 Linux x64 发行版（如 Ubuntu 16.04+）。macOS 通常也可用；Windows 或 32 位系统配置较为复杂，建议直接使用 Docker。
• 硬件资源：
  • CPU：至少 2 个可用核心。
  • GPU：强烈推荐使用支持 CUDA 的 GPU。若无 GPU，仅靠 CPU 训练速度将慢 8-10 倍。
  • 内存：该实现内存效率较低，收敛可能需要较大的显存。
• 软件依赖：
  • Python 环境（推荐 Anaconda）。
  • PyTorch 版本必须 >= 1.1（1.0 及以下版本不可用）。
  • Jupyter Notebook 或其他 .ipynb 文件查看工具。
  • 磁盘空间：预留 1-5GB 用于下载示例数据集。

提示：如果本地环境配置困难，推荐使用支持 GPU 的 Docker 容器（如 nvidia-docker）进行部署。

安装步骤

请按照以下步骤克隆代码并安装依赖：

1. 克隆仓库并进入目录

   git clone https://github.com/Qwicen/node.git
   cd node
   

2. 创建并激活 Python 环境 如果你使用 Anaconda：

   conda create -n node_env python=3.7
   conda activate node_env
   

3. 安装依赖包 为了确保 PyTorch 版本符合要求，建议先手动安装最新版 PyTorch（可根据官网选择国内镜像源加速），再安装其他依赖：

   • (可选) 使用清华源安装 PyTorch (示例):

     pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple
     

     (请确保安装的 torch 版本 >= 1.1)

   • 安装项目其余依赖：

     pip install -r requirements.txt
     

4. 安装 Jupyter (如果尚未安装)

   pip install jupyter
   

基本使用

本项目通过 Jupyter Notebook 提供分类和回归任务的演示。

1. 启动 Jupyter Notebook 在项目根目录下运行：

   jupyter notebook
   

2. 打开示例笔记 在浏览器中进入 ./notebooks/ 目录，选择对应的分类（classification）或回归（regression）笔记本打开。

3. 配置 GPU 设备 在运行第一个代码单元格之前，务必修改设备索引设置。找到如下行：

   %env CUDA_VISIBLE_DEVICES=#
   

   将 # 替换为你计划使用的 GPU 索引（例如 0）：

   %env CUDA_VISIBLE_DEVICES=0
   

4. 运行实验 依次执行单元格。脚本会自动从 Dropbox 下载所需数据集（需保持网络连接），随后开始模型训练与评估。具体训练细节可参考原论文。