Xcessiv

Xcessiv 是一款工具，旨在帮助您构建最大、最疯狂、也最“过度”的堆叠集成模型。

从理论上讲，堆叠集成模型非常简单：将多个小型模型的预测结果组合起来，再将这些组合后的预测输入到另一个模型中。然而，在实际应用中，实现堆叠集成却可能非常复杂且令人头疼。

Xcessiv 能够为您处理创建和优化堆叠集成的所有实现细节，让您只需专注于定义自己关心的部分即可。

Xcessiv 的工作流程

定义您的基础学习器和性能指标

跟踪数百种不同的模型-超参数组合

轻松选择基础学习器，一键创建集成模型

主要特性

• 使用 Python 代码完全自定义数据源、交叉验证流程、相关评估指标以及基础学习器
• 任何遵循 Scikit-learn API 的模型都可以用作基础学习器
• 基于任务队列的架构，可充分利用多核处理器，并支持并行度极高的超参数搜索
• 直接与 TPOT 集成，实现自动化管道构建
• 通过贝叶斯优化自动进行超参数搜索
• 轻松管理和比较数百种不同的模型-超参数组合
• 自动保存生成的二级元特征
• 几步操作即可创建堆叠集成模型
• 通过贪心前向模型选择自动构建集成模型
• 可将堆叠集成模型导出为独立的 Python 文件，以支持多层堆叠

安装与文档

安装说明和详细文档请访问 这里。

常见问题解答

Xcessiv 在机器学习流程中处于什么位置？

Xcessiv 属于模型构建阶段的一部分，位于数据预处理和特征工程之后。目前并没有一种通用的方法可以确定哪种算法最适合特定的数据集（参见 无免费午餐定理），尽管存在一些启发式优化方法，但在寻找最佳模型-超参数组合时，往往还是需要通过反复试验来摸索。

堆叠集成是一种几乎可以确保提升模型性能的方法，但其复杂的实现过程使得它在实际应用中并不常见，通常只在 Kaggle 竞赛中才会被广泛使用。Xcessiv 的目标就是尽可能简化堆叠集成的构建过程，降低使用门槛。

我对复杂的堆叠集成并不感兴趣，那我还需要使用 Xcessiv 吗？

当然！即使不使用堆叠集成功能，仅凭 Xcessiv 能够帮助您跟踪数百甚至数千种机器学习模型及其超参数组合的性能表现这一特性，就已经非常有价值了。

Xcessiv 如何生成用于堆叠的元特征？

您可以选择通过交叉验证（堆叠泛化）或使用保留集（混合）来生成元特征。关于这两种方法以及更多关于堆叠集成的知识，请参阅 Kaggle 集成指南。这篇文章非常出色，也是本项目的主要灵感来源之一。

贡献

Xcessiv 尚处于非常早期的开发阶段，亟需开源社区的帮助和支持。

您可以通过多种方式为 Xcessiv 做贡献，例如报告 bug、提出功能建议、提交 pull request、改进文档等。

如果您有意参与贡献，请访问我们的 贡献者指南。

项目状态

Xcessiv 目前仍处于 Alpha 阶段，尚不稳定。未来版本可能无法保证与当前项目文件的向后兼容性。

Xcessiv 快速上手指南

Xcessiv 是一款用于构建和优化大规模堆叠集成（Stacked Ensembles）的 Python 工具。它能自动化处理基学习器的超参数搜索、元特征生成以及集成模型的构建，让你专注于核心逻辑而非繁琐的实现细节。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：支持 Python 3.x（具体兼容版本请参考 PyPI 徽章）
• 前置依赖：
  • scikit-learn：Xcessiv 依赖 Scikit-learn API，所有符合该接口的模型均可作为基学习器。
  • joblib / multiprocessing：用于多核并行任务队列。
  • (可选) TPOT：如需自动构建机器学习管道，可安装 TPOT 以进行深度集成。

建议在使用前创建一个独立的虚拟环境以避免依赖冲突：

python -m venv xcessiv_env
source xcessiv_env/bin/activate  # Windows 用户使用: xcessiv_env\Scripts\activate

安装步骤

你可以直接通过 PyPI 使用 pip 进行安装。国内开发者推荐使用清华或阿里镜像源以加速下载。

使用默认源安装：

pip install xcessiv

使用国内镜像源加速安装（推荐）：

pip install xcessiv -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：目前 Xcessiv 处于 Alpha 阶段，API 可能会在未来版本中发生变化，且文件可能不向后兼容。

基本使用

Xcessiv 的核心工作流程分为三步：定义基学习器、执行超参数搜索、构建堆叠集成。以下是一个最小化的使用示例。

1. 定义基学习器与配置

首先，你需要编写一个 Python 脚本来定义数据源、评估指标以及基学习器。Xcessiv 允许你使用任何遵循 Scikit-learn API 的模型。

# base_learners.py
from xcessiv import XcessivBaseLearner
from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
data = load_iris()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)

# 定义基学习器配置
# 这里演示定义两个简单的基学习器
base_learner_1 = XcessivBaseLearner(
    model_class=RandomForestClassifier,
    model_params={'n_estimators': 100},
    name='RandomForest'
)

base_learner_2 = XcessivBaseLearner(
    model_class=LogisticRegression,
    model_params={'max_iter': 1000},
    name='LogisticRegression'
)

# 将配置保存到数据库（Xcessiv 使用 SQLite 管理实验）
# 初始化项目
from xcessiv import XcessivWorker

# 注意：实际使用中通常通过命令行启动 worker 或通过 GUI/Web 界面管理
# 此处仅为代码逻辑示意，完整流程通常结合 xcessiv create-project 命令使用

2. 启动任务与超参数搜索

Xcessiv 采用基于任务队列的架构。你需要先创建一个项目，然后启动 Worker 来执行耗时的超参数搜索（支持贝叶斯优化）。

创建新项目：

xcessiv create-project my_ensemble_project
cd my_ensemble_project

启动 Worker 进行并行计算： 利用多核优势并行运行多个任务。

# 启动一个 worker 进程
xcessiv worker start

# 或在另一个终端再启动一个以利用多核
xcessiv worker start

此时，你可以在 Xcessiv 提供的 Web 界面（默认通常在本地端口）中上传定义好的基学习器脚本，并触发大规模的超参数搜索。系统会自动记录数百种模型组合的性能。

3. 构建堆叠集成

当基学习器训练完成后，可以通过界面或代码一键生成堆叠模型。

通过代码导出集成模型： Xcessiv 支持将训练好的堆叠集成导出为独立的 Python 文件，便于部署或多层堆叠。

# 假设你已经通过界面选择了最佳的基学习器组合
from xcessiv import XcessivEnsemble

# 加载已保存的元特征和模型配置
ensemble = XcessivEnsemble.from_file('best_ensemble_config.json')

# 在测试集上进行预测
predictions = ensemble.predict(X_test)

# 导出为 standalone 脚本
ensemble.export_to_script('final_stacked_model.py')

生成的 final_stacked_model.py 是一个完全独立的文件，包含了所有必要的模型权重和预处理逻辑，可直接用于生产环境推理。

---

通过以上步骤，你可以快速利用 Xcessiv 完成从单一模型筛选到复杂堆叠集成的全过程，无需手动处理繁琐的交叉验证和元特征生成代码。