永续

PerpetualBooster 是一种梯度提升机（GBM），与其他 GBM 不同，它无需进行超参数调优。与 AutoML 库类似，它有一个 budget 参数。增加 budget 参数可以提高算法的预测能力，并在未见过的数据上获得更好的结果。建议从较小的预算开始（例如 0.5），并在对特征充满信心后逐步增加（例如 1.0）。如果进一步增加 budget 仍未见改善，则说明您已经从数据中提取了最大的预测能力。

特性

• 无超参数学习： 通过一个简单的 budget 参数即可在一次运行中达到最佳准确率，无需耗时的超参数调优。
• 高性能 Rust 核心： 原生 Rust 核心实现极速训练和推理，支持 Polars/Arrow 数据的零拷贝操作，并提供强大的 Python 和 R 绑定。
• 全面的目标函数： 完全支持分类（二分类和多分类）、回归和排序任务。
• 先进的树结构特性： 原生支持处理类别型变量、可学习的缺失值分裂、单调性约束以及特征交互约束。
• 内置因果机器学习： 开箱即用的支持因果机器学习，用于估计治疗效应。
• 稳健的漂移监测： 内置功能可监控数据漂移和概念漂移，无需真实标签或重新训练模型。
• 持续学习： 内置持续学习能力，可将计算时间从 O(n²) 大幅降低至 O(n)。
• 原生校准： 内置校准功能，可在无需重新训练的情况下预测完全校准的分布（边际覆盖率）和条件覆盖率。
• 可解释性： 可轻松使用内置的特征重要性、部分依赖图和 Shapley (SHAP) 值来解释模型决策。
• 生产就绪且互操作性强： 适用于生产环境；可无缝导出为行业标准的 XGBoost 或 ONNX 格式，便于部署。

支持的语言

Perpetual 使用 Rust 构建，并为 Python 和 R 提供高性能绑定。

语言	安装	文档	源代码	包
Python	pip install perpetual conda install -c conda-forge perpetual	Python API	package-python	PyPI Conda Forge
Rust	cargo add perpetual	docs.rs	src	crates.io
R	install.packages("perpetual")	pkgdown 网站	package-r	R-universe

可选依赖项

• pandas: 启用直接在 Pandas DataFrame 上进行训练的支持。
• polars: 为 Polars DataFrame 提供零拷贝训练支持。
• scikit-learn: 提供与 scikit-learn 兼容的封装接口。
• xgboost: 支持以 XGBoost 格式保存和加载模型，实现互操作性。
• onnxruntime: 支持将模型导出为 ONNX 标准格式并加载。

使用方法

您可以按照以下示例使用该算法。有关 Rust 和 Python 的示例，请查看 examples 文件夹。

from perpetual import PerpetualBooster

model = PerpetualBooster(objective="SquaredLoss", budget=0.5)
model.fit(X, y)

基准测试

PerpetualBooster 与 Optuna + LightGBM 对比

使用普通的 GBM 算法进行超参数优化通常需要 100 次迭代。而 PerpetualBooster 只需一次运行即可达到相同的准确率。因此，在不同的 budget 水平和不同数据集上，它能够在保持相同准确率的情况下实现高达 100 倍的速度提升。

下表总结了针对 加州住房 数据集（回归任务）的实验结果：

Perpetual budget	LightGBM n_estimators	Perpetual mse	LightGBM mse	Speed-up wall time	Speed-up cpu time
0.76	50	0.201	0.201	72x	326x
0.85	100	0.196	0.196	113x	613x
1.15	200	0.190	0.190	405x	1985x

下表总结了针对 南瓜种子 数据集（分类任务）的实验结果：

Perpetual budget	LightGBM n_estimators	Perpetual auc	LightGBM auc	Speed-up wall time	Speed-up cpu time
1.0	100	0.944	0.945	91x	184x

这些结果可以使用 examples 文件夹中的脚本重现。

PerpetualBooster 与 AutoGluon 对比

PerpetualBooster 是一种 GBM 算法，但其行为类似于 AutoML，因此我们也将其与当前 AutoML 基准测试中的领先者 AutoGluon（v1.2，最佳质量预设）进行了对比。我们从 OpenML 数据集中分别选取了回归和分类任务中行数最多的前 10 个数据集。

下表总结了回归任务的实验结果：

OpenML Task	Perpetual Training Duration	Perpetual Inference Duration	Perpetual RMSE	AutoGluon Training Duration	AutoGluon Inference Duration	AutoGluon RMSE
Airlines_DepDelay_10M	518	11.3	29.0	520	30.9	28.8
bates_regr_100	3421	15.1	1.084	OOM	OOM	OOM
BNG(libras_move)	1956	4.2	2.51	1922	97.6	2.53
BNG(satellite_image)	334	1.6	0.731	337	10.0	0.721
COMET_MC	44	1.0	0.0615	47	5.0	0.0662
friedman1	275	4.2	1.047	278	5.1	1.487
poker	38	0.6	0.256	41	1.2	0.722
subset_higgs	868	10.6	0.420	870	24.5	0.421
BNG(autoHorse)	107	1.1	19.0	107	3.2	20.5
BNG(pbc)	48	0.6	836.5	51	0.2	957.1
average	465	3.9	-	464	19.7	-

PerpetualBooster 在 10 个回归任务中的 8 个任务上表现优于 AutoGluon，训练速度相当，而推理速度则快了 5.1 倍。

下表总结了分类任务的实验结果：

OpenML 任务	Perpetual 训练时长	Perpetual 推理时长	Perpetual AUC	AutoGluon 训练时长	AutoGluon 推理时长	AutoGluon AUC
BNG(spambase)	70.1	2.1	0.671	73.1	3.7	0.669
BNG(trains)	89.5	1.7	0.996	106.4	2.4	0.994
breast	13699.3	97.7	0.991	13330.7	79.7	0.949
Click_prediction_small	89.1	1.0	0.749	101.0	2.8	0.703
colon	12435.2	126.7	0.997	12356.2	152.3	0.997
Higgs	3485.3	40.9	0.843	3501.4	67.9	0.816
SEA(50000)	21.9	0.2	0.936	25.6	0.5	0.935
sf-police-incidents	85.8	1.5	0.687	99.4	2.8	0.659
bates_classif_100	11152.8	50.0	0.864	OOM	OOM	OOM
prostate	13699.9	79.8	0.987	OOM	OOM	OOM
平均	3747.0	34.0	-	3699.2	39.0	-

PerpetualBooster 在 10 项分类任务中全部优于 AutoGluon，训练速度相当，推理速度则快了 1.1 倍。

与 AutoGluon 相比，PerpetualBooster 表现出更高的鲁棒性，成功在所有 20 项任务上完成训练，而 AutoGluon 在其中 3 项任务上出现了内存不足的错误。

这些结果可以通过使用 automlbenchmark 分支 进行复现。

贡献

欢迎各位贡献！请查看 CONTRIBUTING.md 以获取相关指南。

论文

PerpetualBooster 通过一种泛化算法来防止过拟合。目前论文仍在撰写中，旨在详细解释该算法的工作原理。您也可以阅读我们的 博客文章,其中对算法进行了高层次的介绍。

Perpetual ML 套件

Perpetual ML 套件 是一款功能全面、开箱即用的机器学习平台，旨在以最少的努力实现最大的预测能力。它提供直观的界面，帮助您跟踪实验、监控指标并管理模型漂移。

如需完全托管的 无服务器机器学习体验，请访问 app.perpetual-ml.com。

• 无服务器 Marimo 笔记本：无需管理任何基础设施，即可运行交互式、响应式的笔记本。
• 无服务器机器学习端点：一键部署模型为生产就绪的端点，用于实时推理。

Perpetual 还可以根据您的数据存储位置进行部署。它现已在 Snowflake 市场 上作为原生应用发布，未来还将支持 Databricks 和其他主流数据仓库。

Perpetual 快速上手指南

Perpetual 是一个基于 Rust 构建的高性能梯度提升机（GBM），其核心优势在于无需繁琐的超参数优化。它通过一个简单的 budget 参数控制模型复杂度，能够在单次运行中达到最优精度，显著缩短开发周期。

环境准备

• 操作系统：支持 Windows、macOS 和 Linux。
• 语言版本：
  • Python 3.8+
  • 或 R 4.0+
  • 或 Rust (如需底层开发)
• 前置依赖：
  • 基础使用无需额外依赖。
  • 推荐安装（以获得完整功能）：
    • pandas：支持直接训练 Pandas DataFrame。
    • polars：支持零拷贝训练，大幅提升大数据集性能。
    • scikit-learn：提供兼容 Scikit-Learn 的接口。

安装步骤

Python 用户

推荐使用 pip 或 conda 进行安装。国内用户若遇到网络问题，可配置清华或阿里镜像源加速。

使用 pip 安装：

pip install perpetual
# 可选：安装常用依赖以获得完整功能
pip install perpetual pandas polars scikit-learn

使用 conda 安装：

conda install -c conda-forge perpetual

国内加速提示：若下载缓慢，可使用清华镜像源： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple perpetual

R 用户

install.packages("perpetual")

Rust 用户

cargo add perpetual

基本使用

Perpetual 的使用逻辑与 Scikit-Learn 高度相似。只需实例化 PerpetualBooster，设置目标函数和 budget 参数，即可开始训练。

最简单的示例 (Python)

from perpetual import PerpetualBooster

# 1. 初始化模型
# objective: 任务类型 (如 "SquaredLoss" 回归, "LogLoss" 二分类等)
# budget: 预算参数，越大模型越复杂，精度通常越高 (建议从 0.5 开始尝试)
model = PerpetualBooster(objective="SquaredLoss", budget=0.5)

# 2. 训练模型 (X 为特征矩阵，y 为目标向量)
model.fit(X, y)

# 3. 进行预测
predictions = model.predict(X_test)

关键参数说明

• budget：这是唯一需要调整的核心参数。
  • 初始建议：设为 0.5 进行快速验证。
  • 进阶调优：若特征工程完善且需要更高精度，可逐步增加至 1.0 或更高。
  • 停止信号：当继续增加 budget 而效果不再提升时，说明已挖掘出数据的最大预测能力。
• objective：支持多种任务类型，包括回归 (SquaredLoss)、二分类/多分类 (LogLoss, MultiLogLoss) 以及排序任务。

高级特性简述

• 自动处理缺失值与类别特征：无需手动填充缺失值或对类别变量进行独热编码。
• 模型导出：训练完成的模型可无缝导出为 XGBoost 或 ONNX 格式，便于在生产环境中部署。
• 因果推断与漂移监控：内置支持因果效应估计及数据/概念漂移监测，无需重新训练模型。