automl-gs

只需提供一个输入的CSV文件和您希望预测的目标字段，automl-gs即可为您生成一个训练有素、性能优异的机器学习或深度学习模型，并附带原生的Python代码流水线，使您能够将该模型无缝集成到任何预测工作流中。全程透明：您可以清晰地看到数据是如何被处理的、模型是如何构建的，并且可以根据需要进行调整。

automl-gs是一款AutoML工具，与微软的NNI、优步的Ludwig以及TPOT不同，它提供了一个“零代码/模型定义”的界面，让您能够在多种主流的ML/DL框架中快速获得经过优化的模型及数据转换流水线，同时仅需极少的Python依赖（pandas + scikit-learn + 您选择的框架）。automl-gs专为不具备深厚统计学背景的“公民数据科学家”和工程师而设计，其核心理念是：您无需掌握任何现代的数据预处理与机器学习工程技巧，也能构建出强大的预测工作流。

如今，运行多种模型及其超参数组合的成本已远低于数据科学家时间的机会成本。automl-gs是一个基于Python 3的模块，旨在抽象化常见的表格数据转换方法、机器学习/深度学习模型架构设计以及随机超参数搜索流程，从而帮助您专注于模型性能的优化。

• 生成原生的Python代码；无平台锁定，且在生成模型脚本后无需继续使用automl-gs。
• 在Google Colaboratory中利用TPU和TensorFlow，以极快的速度免费训练模型配置。（处于Beta阶段：您可在此访问Colaboratory笔记本这里）。
• 能够处理通常需要人工干预的混乱数据集，例如日期时间/分类编码以及带有空格或括号的列名。
• 生成的模型流水线的每个部分都独立为一个函数，并配有文档字符串，因此更容易集成到生产工作流中。
• 对每次试验都提供极为详尽的指标报告，并以整洁的CSV格式存储，便于您识别并可视化模型的优势与不足。
• 确保数据流水线编码器在磁盘上的正确序列化（即不使用pickle保存Python对象！）。
• 无需修改任何代码或流水线，即可在新数据上重新训练生成的模型。
• 可随时停止超参数搜索，因为每次试验的结果都会被保存。
• 提供整体实验及每轮迭代的进度条与预计完成时间。

automl-gs生成的模型旨在为解决特定问题提供一个非常强大的基准；它们并非AutoML热潮中常伴随的“终极解决方案”，但生成的代码却易于调整，以便在基准基础上进一步优化。

您可以在这里查看超参数及其取值，以及可在这里查看可优化的指标。此外，一些关于生成模型的更具争议的设计决策已在DESIGN.md中予以说明。

框架支持

目前，automl-gs支持使用以下Python框架生成回归与分类问题的模型：

• TensorFlow（通过tf.keras）| tensorflow
• XGBoost（采用直方图分箱）| xgboost

待实现的框架包括：

• Catboost | catboost
• LightGBM | lightgbm

使用方法

automl-gs可通过pip安装：

pip3 install automl_gs

此外，您还需要安装相应的ML/DL框架（例如，TensorFlow需安装tensorflow或tensorflow-gpu，xgboost需安装xgboost等）。

安装完成后，您即可直接在命令行中运行。例如，使用著名的泰坦尼克号数据集（来源：http://web.stanford.edu/class/archive/cs/cs109/cs109.1166/problem12.html）：

automl_gs titanic.csv Survived

如果您希望使用其他框架或自定义训练设置，可以通过添加标志来实现：

automl_gs titanic.csv Survived --framework xgboost --num_trials 1000

您也可以直接从Python调用automl-gs。（例如，在Jupyter Notebook中）

from automl_gs import automl_grid_search

automl_grid_search('titanic.csv', 'Survived')

automl-gs训练后的输出包括：

• 一个带时间戳的文件夹（例如automl_tensorflow_20190317_020434），其中包含：
  • model.py：生成的模型文件。
  • pipeline.py：生成的流水线文件。
  • requirements.txt：生成的依赖文件。
  • /encoders：存放JSON序列化编码器文件的文件夹。
  • /metadata：存放训练统计信息及其他尚未实现的酷炫内容的文件夹。
  • 模型本身（格式取决于所选框架）。
• automl_results.csv：一份CSV文件，记录每次迭代的训练结果以及当时使用的超参数。

训练完成后，您可以在上述生成的文件夹内通过命令行运行生成的文件。

预测时：

python3 model.py -d data.csv -m predict

重新训练模型时：

python3 model.py -d data.csv -m train

CLI参数/函数参数

您可随时通过在命令行中运行automl_gs -h查看这些参数。

• csv_path：CSV文件的路径（必须位于当前目录）【必填】
• target_field：目标预测字段【必填】
• target_metric：目标优化指标【默认：根据问题类型自动确定】
• framework：使用的机器学习框架【默认：'tensorflow'】
• model_name：模型名称（若您希望训练不同名称的模型）【默认：'automl'】
• num_trials：要测试的试验次数/不同的超参数组合数量【默认：100】
• split：训练模型时的训练-验证拆分比例【默认：0.7】
• num_epochs：训练模型时的迭代次数/遍历数据的次数【默认：20】
• col_types：字段与数据类型的字典，用于覆盖automl-gs的默认猜测。（仅在Python中使用时生效）【默认：{}】
• gpu：对于非TensorFlow框架及Pascal及以上GPU，布尔值，用于决定是否使用GPU优化的训练方法（TensorFlow可自动检测）【默认：False】
• tpu_address：对于TensorFlow，系统中TPU的硬件地址【默认：None】

示例

要快速了解如何使用 automl-gs 的“Hello World”示例，请参阅此 Jupyter Notebook。

由于某些包含生成代码及相应数据可视化示例的文件较大，因此它们被单独维护在一个独立的仓库中。（这也解释了为何上述示例可视化中存在两个不同的“层级”！）

automl-gs 的工作原理

简而言之：automl-gs 使用 Jinja 模板生成原始 Python 代码，并在子进程中利用该生成的代码训练模型；重复这一过程，采用不同的超参数设置，直至完成并保存最佳模型。

automl-gs 会加载给定的 CSV 文件，并推断每一列的数据类型以供模型使用。随后，它会根据超参数设定为每列字段尝试相应的 ETL 策略；例如，对于日期时间字段，默认会将其 hour 和 dayofweek 进行二进制编码，但超参数也可能指定将 month 和 year 编码为额外的模型特征。ETL 策略针对不同框架进行了优化；例如，TensorFlow 会使用文本嵌入，而其他框架则会使用 CountVectorizer 对文本进行编码（在训练时，TensorFlow 还会通过 Keras 的函数式 API 使用共享的文本编码器）。之后，automl-gs 会基于指定的框架构建统计模型。模型的 ETL 函数与模型构建函数均会被保存为一个生成的 Python 脚本。

随后，automl-gs 会像普通用户一样运行该生成的训练脚本。模型训练完成后，automl-gs 会将训练结果连同用于训练的所有超参数一起保存到其自身的 CSV 文件中。接着，automl-gs 会使用另一组超参数重复这一过程，直到达到指定的试验次数或用户手动终止脚本为止。

每次试验后都会保留最优模型的 Python 脚本，该脚本可轻松集成到其他脚本中，或直接运行以在新数据集上获得预测结果。

有用提示

• 确保输入数据集的质量是用户的职责。 无论何种模型超参数搜索，都无法在存在缺陷或不平衡的数据集上取得良好的研究结果。同样地，超参数优化可能会在验证集上给出过于乐观的预测，而这些预测未必能反映模型在真实环境中的表现。
• 仅采用神经网络方法并不一定是最优选择。 建议尝试使用 xgboost。其结果可能会令您惊喜！
• automl-gs 仅致力于解决表格型数据问题。 如果您面临更为复杂的问题（例如预测一系列输出），如引言所述，建议使用 Microsoft 的 NNI 和 Uber 的 Ludwig。

已知问题

• 使用 Anaconda 时出现的问题(#8)。可以改用已安装的 Python。
• 在 Windows 上使用时出现的问题(#13)
• 当输入数据集中的字段名以数字开头时出现的问题(#18)

未来工作

只要对该软件包仍有兴趣，automl-gs 的功能开发将持续进行。

首要优先级

• 增加更多框架支持
• 结果可视化（通过 plotnine）
• 日期时间字段的节假日支持
• 删除冗余的生成代码
• 原生分布式/高级自动化支持（Polyaxon/Kubernetes、Airflow）
• 图像字段支持（既作为 CSV 列字段，又提供专门的流程模式以充分利用超参数调优）
• PyTorch 模型代码生成。

其他工作

• 根据明确的超参数集合生成脚本
• 增加更多超参数
• 为独立版本提供贝叶斯超参数搜索
• 支持为 R/Julia 生成模型代码
• 提供工具，可根据训练好的模型脚本生成 Flask/Starlette REST API
• 允许传入明确且预先定义的测试集 CSV 文件。

维护者/创建者

Max Woolf (@minimaxir)

• Max 的开源项目由他的Patreon资助。如果您觉得该项目有所帮助，欢迎向 Patreon 提供任何资金支持，这些捐款都将用于富有创意的用途。*

许可证

MIT

automl-gs 生成的代码未附带许可证；生成代码的所有者可自行决定其许可方式。

automl-gs 快速上手指南

环境准备

• 系统要求：Linux / macOS（Windows 暂有兼容性问题，建议用 WSL2）
• Python：3.6 及以上
• 前置依赖（任选其一即可）
  • TensorFlow：pip3 install tensorflow 或 tensorflow-gpu
  • XGBoost：pip3 install xgboost

国内用户可临时使用清华镜像加速：
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple automl_gs

安装步骤

# 1. 安装 automl-gs
pip3 install automl_gs

# 2. 按需安装框架（示例：TensorFlow）
pip3 install tensorflow

基本使用

命令行一行启动

# 以 Titanic 数据集为例，预测 Survived 列
automl_gs titanic.csv Survived

Python 代码调用

from automl_gs import automl_grid_search

# 最小示例
automl_grid_search('titanic.csv', 'Survived')

# 指定框架与搜索次数
automl_grid_search('titanic.csv', 'Survived',
                   framework='xgboost',
                   num_trials=1000)

训练完成后

• 结果目录：automl_tensorflow_时间戳/
  • model.py：可直接运行的模型脚本
  • pipeline.py：数据预处理脚本
• 预测新数据：

  cd automl_tensorflow_时间戳
  python3 model.py -d new_data.csv -m predict
  

• 增量训练：

  python3 model.py -d new_data.csv -m train