决策树

一个用 Ruby 编写的库，实现了用于决策树学习的 ID3（信息增益） 算法。目前支持连续型和离散型数据集的训练。

• 离散模型假设标签是唯一的，并且可以绘制为图形，进而转换成 PNG 文件以便进行可视化分析。
• 连续模型会遍历某个变量的所有可能取值，迭代地选择最佳阈值来划分数据。这样生成的是一棵二叉树，每一步都通过阈值进行分割。（例如：温度 > 20°C）

特性

• 针对连续型和离散型数据的 ID3 算法，并支持不一致的数据集。
• 使用 Graphviz 组件 可视化学习到的决策树。
• 支持多输出和符号化输出，以及连续型决策树的绘图功能。
• 当输入没有匹配的分支时，返回默认值。

实现

• Ruleset 是一个类，它使用 2/3 的训练数据训练一个 ID3Tree，然后将其转换为规则集，并利用剩余的 1/3 数据以 C4.5 的方式对规则进行剪枝。
• Bagging 是一种基于自助法的训练器（顾名思义），它会训练 10 个 Ruleset 训练器，并在预测时根据投票结果选择最佳输出。

带有解释和示例的博客文章

示例

require 'decisiontree'

attributes = ['Temperature']
training = [
  [36.6, 'healthy'],
  [37, 'sick'],
  [38, 'sick'],
  [36.7, 'healthy'],
  [40, 'sick'],
  [50, 'really sick'],
]

# 实例化决策树，并根据数据进行训练（设置默认值为 'sick'）
dec_tree = DecisionTree::ID3Tree.new(attributes, training, 'sick', :continuous)
dec_tree.train

test = [37, 'sick']
decision = dec_tree.predict(test)
puts "预测结果：#{decision} ... 真实结果：#{test.last}"

# => 预测结果：sick ... 真实结果：sick

# 在训练数据中指定类型（"discrete" 或 "continuous"）
labels = ["hunger", "color"]
training = [
        [8, "red", "angry"],
        [6, "red", "angry"],
        [7, "red", "angry"],
        [7, "blue", "not angry"],
        [2, "red", "not angry"],
        [3, "blue", "not angry"],
        [2, "blue", "not angry"],
        [1, "red", "not angry"]
]

dec_tree = DecisionTree::ID3Tree.new(labels, training, "not angry", color: :discrete, hunger: :continuous)
dec_tree.train

test = [7, "red", "angry"]
decision = dec_tree.predict(test)
puts "预测结果：#{decision} ... 真实结果：#{test.last}"

# => 预测结果：angry ... 真实结果：angry

许可证

MIT 许可证 - 版权所有 © 2006 Ilya Grigorik

Decision Tree 快速上手指南

环境准备

• 系统要求：支持 Ruby 的操作系统（Linux, macOS, Windows）
• 前置依赖：
  • Ruby (建议版本 2.0+)
  • Graphviz（可选，用于可视化决策树）
    • Ubuntu/Debian: sudo apt-get install graphviz
    • macOS: brew install graphviz
    • Windows: 下载安装包安装

安装步骤

使用 RubyGems 安装：

gem install decisiontree

如需使用国内镜像源加速安装：

gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
gem install decisiontree

基本使用

以下是一个最简单的连续值分类示例：

require 'decisiontree'

attributes = ['Temperature']
training = [
  [36.6, 'healthy'],
  [37, 'sick'],
  [38, 'sick'],
  [36.7, 'healthy'],
  [40, 'sick'],
  [50, 'really sick'],
]

# 初始化决策树，设置默认值为 'sick'，类型为连续值
dec_tree = DecisionTree::ID3Tree.new(attributes, training, 'sick', :continuous)
dec_tree.train

test = [37, 'sick']
decision = dec_tree.predict(test)
puts "Predicted: #{decision} ... True decision: #{test.last}"

运行结果：

Predicted: sick ... True decision: sick

你也可以混合使用离散和连续属性：

labels = ["hunger", "color"]
training = [
        [8, "red", "angry"],
        [6, "red", "angry"],
        [7, "red", "angry"],
        [7, "blue", "not angry"],
        [2, "red", "not angry"],
        [3, "blue", "not angry"],
        [2, "blue", "not angry"],
        [1, "red", "not angry"]
]

dec_tree = DecisionTree::ID3Tree.new(labels, training, "not angry", color: :discrete, hunger: :continuous)
dec_tree.train

test = [7, "red", "angry"]
decision = dec_tree.predict(test)
puts "Predicted: #{decision} ... True decision: #{test.last}"

运行结果：

Predicted: angry ... True decision: angry