Auto-ViML

自动快速构建多种可解释的机器学习模型！

Auto_ViML 的发音为“auto vimal”（autovimal 标志由 Sanket Ghanmare 创作）。

更新（2025年1月）

1. Auto_ViML 现已升级至 0.2 版本，这意味着它现在可在 Python 3.12 或更高版本以及 pandas 2.0 上运行。这对在 Colab、Kaggle 及其他最新内核中工作的用户来说是一次重大升级。请务必查看 `requirements.txt` 文件，以了解推荐的版本。

更新（2023年3月）

1. Auto_ViML 新增了一个标志，可通过 GPU 加速处理。只需在 Colab 及其他环境中将 `GPU_flag` 设置为 `True` 即可。但在 Colab 中运行时，请别忘了将运行时类型设置为“GPU”，否则会报错。

更新（2022年5月）

• Auto_ViML 0.1.710 版本开始使用名为 `imbalanced_ensemble` 的高性能库来处理不平衡数据集问题。根据我在多个数据集上的经验，这将使您的平衡准确率提升 5% 至 10%。

此外，此版本的新功能包括：

• SULOV -> 使用 SULOV 算法自动移除高度相关的特征。
• Auto_NLP -> AutoViML 自动检测文本变量，并使用 Auto_NLP 进行 NLP 处理。
• 日期时间 -> 自动检测日期时间变量并生成新特征。
• `imbalanced_ensemble` 库 -> 对于不平衡数据，使用 imbalanced_ensemble 库。只需在参数中将 Imbalanced_Flag 设置为 True 即可。
• 特征选择 -> 我们采用与 featurewiz 库相同的算法：SULOV 和递归 XGBoost，以快速选择最佳特征。详情见下文。

目录

• 背景
• 安装
• 使用
• 使用 Auto_ViML 的技巧
• API
• 维护者
• 贡献
• 许可证

背景

请阅读这篇 Medium 文章，了解如何有效使用 Auto_ViML。

Auto_ViML 旨在用最少的变量构建高性能且可解释的模型。“V”代表 Variant，因为它会尝试使用多种模型和特征组合，为您找到最适合数据集的模型。“i”代表“interpretable”，因为 Auto_ViML 会选择构建更简单、更易解释的模型所需的最少特征。在大多数情况下，Auto_ViML 构建的模型所使用的特征数量比包含所有特征的类似性能模型少 20% 至 99%（基于我的试验结果，您的体验可能会有所不同）。

Auto_ViML 是每位数据科学家的模型加速工具，它可以：

1. 帮助您进行数据清洗：您可以直接上传完整的原始数据框，Auto_ViML 会建议如何处理缺失值、格式化变量、添加新变量等。它特别擅长处理脏数据——越脏越好！
2. 执行特征选择：Auto_ViML 默认会自动选择特征。当您拥有数百甚至数千个变量时，这一点非常有用，因为它可以迅速识别哪些是重要变量，哪些是不必要的。您也可以关闭此功能（详见 API）。



3. 自动移除高度相关的特征。如果您的数据集中有两个高度相关的变量，您应该保留哪一个、舍弃哪一个？这个决定并不像看起来那么简单。Auto_ViML 使用 SULOV 算法来移除高度相关的特征。您可以通过这张图更直观地理解 SULOV。



4. 以图形方式展示性能结果。只需将 verbose 参数设置为 1 或 2，而不是 0（静默模式）。随着详细程度的提高，您将获得更高质量的洞察。
5. 统一处理文本、日期时间、结构体（列表、字典）、数值、布尔、因子和分类变量，所有这些都可通过一个流程整合到同一个模型中。

Auto_ViML 基于 scikit-learn、numpy、pandas 和 matplotlib 构建。它应在大多数 Python 3 Anaconda 安装环境中运行。除了“XGBoost”、“Imbalanced-Learn”、“CatBoost”和“featuretools”库之外，您无需导入任何其他特殊库。我们使用“SHAP”库来实现模型的可解释性。
不过，如果您没有这些库，Auto_ViML 会自动为您安装它们。

安装

先决条件：

• Anaconda

要克隆 Auto_ViML，最好创建一个新的环境并安装所需的依赖项：

通过 PyPi 安装：

$ pip install autoviml --upgrade --ignore-installed

pip install git+https://github.com/AutoViML/Auto_ViML.git

从源代码安装：

cd <AutoVIML_Destination>
git clone git@github.com:AutoViML/Auto_ViML.git
# 或下载并解压 https://github.com/AutoViML/Auto_ViML/archive/master.zip
conda create -n <your_env_name> python=3.7 anaconda
conda activate <your_env_name> # 在 Windows 上：`source activate <your_env_name>`
cd Auto_ViML
pip install -r requirements.txt

使用方法

在同一目录下，打开一个 Jupyter Notebook，并使用以下代码导入 .py 文件：

from autoviml.Auto_ViML import Auto_ViML

将数据集（任何 CSV 或文本文件）加载到 Pandas 数据框中，并将其拆分为训练数据框和测试数据框。如果你没有测试数据框，可以将下面的 test 变量简单地赋值为空字符串 ''：

model, features, trainm, testm = Auto_ViML(
    train,
    target,
    test,
    sample_submission,
    hyper_param="GS",
    feature_reduction=True,
    scoring_parameter="weighted-f1",
    KMeans_Featurizer=False,
    Boosting_Flag=False,
    Binning_Flag=False,
    Add_Poly=False,
    Stacking_Flag=False,
    Imbalanced_Flag=False,
    verbose=0,
)

最后，它会将你的提交文件写入当前目录下的 mysubmission.csv 文件中。这个提交文件可以直接展示给客户或提交到竞赛中。如果未提供提交文件，但只要提供了测试文件名，它就会为你创建一个名为 mySubmission.csv 的提交文件。

Auto_ViML 适用于任何多分类或多标签数据集，因此你可以拥有多个目标标签。你无需告知 Auto_ViML 这是一个回归问题还是分类问题。

使用 Auto_ViML 的提示：

1. scoring_parameter：对于分类问题和类别不平衡的情况，建议选择 scoring_parameter="balanced_accuracy"，效果更好。
2. Imbalanced_Flag：对于类别极度不平衡的数据集（稀有类别的样本占比小于 5%），建议将 Imbalanced_Flag 设置为 True。此外，在目标变量可能呈现偏态分布的回归问题中，也可以将此标志设置为 True。
3. target：对于多标签数据集，目标变量输入可以以变量列表的形式传递。
4. Boosting_Flag：建议先将 Boosting_Flag 设置为 None，以获得线性模型。理解后再尝试将 Boosting_Flag 设置为 False，以获得随机森林模型。最后再尝试将 Boosting_Flag 设置为 True，以获得 XGBoost 模型。这是我们推荐的使用顺序。最后还可以尝试将 Boosting_Flag 设置为 "CatBoost"，以获得复杂但性能更高的模型。
5. Binning_Flag：当使用 CatBoost 模型时，将 Binning_Flag 设置为 True 可以提升模型性能，因为它会将更多的类别变量加入到特征列表中。
6. KMeans_featurizer：在 NLP 和 CatBoost 模型中，将 KMeans_featurizer 设置为 True 效果很好，因为它会生成聚类变量。
7. Add_Poly：将 Add_Poly 设置为 3 可以提升某些包含日期时间、类别型和数值型变量的模型的性能。
8. feature_reduction：默认情况下，feature_reduction=True 是最佳选择。但如果数据中的特征数量少于 10 个，则应将其设置为 False。
9. Stacking_Flag：不要在线性模型中启用 Stacking_Flag=True，因为结果可能不理想。
10. Stacking_Flag：仅在复杂模型中，且作为最后一步与 Boosting_Flag=True 或 CatBoost 结合使用时，才启用 Stacking_Flag=True。
11. hyper_param：建议将 hyper_param 保持为 "RS"，因为它比 GridSearchCV 运行更快，且通常能给出更好的结果，除非你的数据集非常小，且你有足够的时间进行超参数调优。
12. KMeans_Featurizer：KMeans_Featurizer=True 不适用于小型数据集。建议在数据量超过 10,000 行时使用。
13. 最后一点：Auto_ViML 主要用于作为你数据集的基准或挑战性解决方案。因此，适合用于快速构建模型，以便与其他模型进行比较，或在黑客马拉松中使用。它并不适用于生产环境！

API

参数

• train：可以是数据路径+文件名，也可以是数据框。程序会自动检测并加载。
• test：可以是数据路径+文件名，也可以是数据框。如果没有测试数据，只需留空即可。
• submission：必须是数据路径+文件名。如果没有提交文件，也只需留空即可。
• target：数据集中目标变量的名称。
• sep：如果文件中有分隔符，例如逗号 "," 或制表符 "\t"，请在此处指定。默认为 ","。
• scoring_parameter：如果你想使用自定义评分指标，例如 "f1"，可以在这里指定。否则，程序会根据问题类型自动选择合适的评分指标并构建模型。
• hyper_param：调参选项包括网格搜索 ('GS') 和随机搜索 ('RS')。默认为 'RS'。
• feature_reduction：默认为 'True'，但如果不需要自动特征降维，可以将其设置为 False。例如，在数字和 MNIST 等图像数据集中，不进行自动特征降维反而能得到更好的结果。你可以同时尝试两种设置，自行比较。
• KMeans_Featurizer
  • True：基于 KMeans 聚类为特征添加聚类标签。适用于线性模型。
  • False（默认）：对于随机森林或 XGB 模型，建议保持为 False，因为可能会导致过拟合。
• Boosting Flag：共有四种选择（默认为 False）：
  • None：构建线性模型。
  • False：构建随机森林或 Extra Trees 模型（即袋装法）。
  • True：构建 XGBoost 模型。
  • CatBoost：构建 CatBoost 模型（前提是已安装 CatBoost）。
• Add_Poly：默认为 0，表示不执行任何操作。但它有三个有趣的设置：
  • 1：仅添加交互变量，如 x1x2、x2x3 等。
  • 2：添加交互变量和平方变量，如 x12、x22 等。
  • 3：同时添加交互变量和平方变量，如 x1x2、x1**2、x2x3、x2**2 等。
• Stacking_Flag：默认为 False。如果设置为 True，会在模型中添加一个由其他模型预测结果衍生的附加特征。这种方法在某些情况下有用，但可能导致过拟合。因此，请谨慎启用此标志。
• Binning_Flag：默认为 False。如果设置为 True，会通过称为“熵”分箱的技术，将数值最高的变量转换为分箱后的变量。这对于某些难以建模的数据集非常有帮助。
• Imbalanced_Flag：默认为 False。对于类别不平衡的数据集，会使用 imbalanced_ensemble 库处理。只需在参数中将 Imbalanced_Flag 设置为 True 即可。
• verbose：有三种输出级别：
  • 0：输出有限。非常适合静默运行并快速获得结果。
  • 1：提供更多图表。有助于了解结果并调整输入参数中的标志位。
  • 2：大量图表和输出信息。非常适合复现 Auto_ViML 的具体操作过程。

返回值

• model：返回训练好的模型。
• features：使模型表现良好的最少特征数量。
• train_modified：经过特征删除和添加处理后的修改版训练数据框。
• test_modified：与训练数据框采用相同变换的修改版测试数据框。

维护者

• @AutoViML
• @morenoh149
• @hironroy

贡献

请参阅 贡献指南！欢迎提交 PR。

许可证

Apache License 2.0 © 2020 Ram Seshadri

免责声明

本项目并非 Google 官方项目。Google 不对此项目提供任何支持，并明确声明不对该产品的质量、适销性或特定用途的适用性作出任何担保。

Auto_ViML 快速上手指南

Auto_ViML 是一个能够自动构建多种可解释机器学习模型的高效工具。它擅长处理脏数据，自动进行特征选择（使用 SULOV 算法去除高相关特征），并支持文本、日期时间等多种数据类型，旨在用最少的变量构建高性能模型。

环境准备

• 操作系统：Windows, macOS, Linux
• Python 版本：
  • 推荐：Python 3.12 或更高版本（对应 Auto_ViML v0.2+，支持 pandas 2.0）。
  • 兼容：Python 3.7+（旧版本）。
• 前置依赖：
  • 建议安装 Anaconda 以管理环境。
  • 核心依赖库包括 scikit-learn, numpy, pandas, matplotlib。
  • 可选增强库（若未安装，Auto_ViML 会尝试自动安装）：xgboost, imbalanced-learn, catboost, featuretools, shap。
• 硬件加速（可选）：
  • 若需使用 GPU 加速，请在 Colab 或本地环境中设置运行时类型为 "GPU"，并在代码中设置 GPU_flag=True。

安装步骤

推荐使用 pip 直接安装最新稳定版。国内用户若遇网络问题，可指定清华或阿里镜像源。

方法一：通过 PyPI 安装（推荐）

# 使用默认源安装
pip install autoviml --upgrade --ignore-installed

# 或使用国内镜像源加速（推荐中国开发者使用）
pip install autoviml --upgrade --ignore-installed -i https://pypi.tuna.tsinghua.edu.cn/simple

方法二：从源码安装

git clone https://github.com/AutoViML/Auto_ViML.git
cd Auto_ViML
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Auto_ViML 的使用非常简洁，只需导入库并传入训练数据、目标变量及测试数据即可。它会自动判断是回归还是分类问题。

1. 导入与数据准备

在 Jupyter Notebook 或 Python 脚本中：

from autoviml.Auto_ViML import Auto_ViML
import pandas as pd

# 加载数据 (示例)
train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv') # 如果没有测试集，可设为空字符串 ""

# 定义目标变量列名
target = 'your_target_column_name'

2. 构建模型

调用 Auto_ViML 函数，它将返回训练好的模型、选定的特征列表以及训练/测试性能指标。

model, features, trainm, testm = Auto_ViML(
    train,
    target,
    test,                # 若无测试集，此处填 ""
    sample_submission="", # 若无提交文件，此处填 ""
    hyper_param="RS",     # 调参方式：'RS'(随机搜索，快) 或 'GS'(网格搜索，慢)
    feature_reduction=True, # 是否自动特征降维
    scoring_parameter="weighted-f1", # 评分标准，不平衡数据建议用 "balanced_accuracy"
    KMeans_Featurizer=False,
    Boosting_Flag=False,  # False=随机森林，True=XGBoost，"CatBoost"=CatBoost，None=线性模型
    Binning_Flag=False,
    Add_Poly=False,
    Stacking_Flag=False,
    Imbalanced_Flag=False, # 若数据极度不平衡 (<5%) 设为 True
    verbose=1,            # 输出详细程度：0(静默), 1(标准), 2(详细)
)

3. 获取结果

运行结束后，当前目录下会自动生成名为 mysubmission.csv (或 mySubmission.csv) 的预测结果文件，可直接用于竞赛提交或展示。同时，model 对象可用于后续预测，features 列表包含了模型选用的关键特征。

提示：初次使用建议先设置 Boosting_Flag=None 获取线性基线模型，再逐步尝试 False (随机森林) 和 True (XGBoost) 以获取更佳性能。