麻省理工学院数据到人工智能实验室的开源项目。

ATM - 自动调优模型

• 许可证：MIT
• 开发状态：预 Alpha
• 文档：https://HDI-Project.github.io/ATM/
• 主页：https://github.com/HDI-Project/ATM

概述

自动调优模型（ATM）是一个以易用性为核心设计的AutoML系统。简而言之，您只需向ATM提供一个分类问题和一个CSV格式的数据集，ATM便会尝试构建出最佳模型。ATM基于同名论文[论文链接]，并且该项目是麻省理工学院人类-数据交互（HDI）项目的一部分。

安装

要求

ATM 已在 Python 2.7、3.5 和 3.6 上开发并测试。

此外，虽然并非严格要求，但强烈建议使用 virtualenv 来避免与系统中已安装的其他软件发生冲突，从而确保 ATM 的正常运行。

以下是使用 Python 3.6 创建用于 ATM 的 virtualenv 所需的最低命令：

pip install virtualenv
virtualenv -p $(which python3.6) atm-venv

之后，您需要执行以下命令来激活 virtualenv：

source atm-venv/bin/activate

请记住，每次启动新的终端窗口进行 ATM 相关工作时，都需要重新激活 virtualenv！

使用 pip 安装

创建并激活 virtualenv 后，我们建议使用 pip 来安装 ATM：

pip install atm

这将从 PyPi 下载并安装最新稳定版本。

从源代码安装

或者，在您的 virtualenv 已经激活的情况下，您可以克隆仓库并通过在 stable 分支上运行 make install 来从源代码安装：

git clone git@github.com:HDI-Project/ATM.git
cd ATM
git checkout stable
make install

开发环境安装

如果您希望为项目做出贡献，则还需要额外几步来使项目进入开发状态。

首先，请访问项目的 GitHub 页面，并在页面右上角点击 fork 按钮，以您自己的用户名创建一个项目分支。

随后，克隆您的分支，并基于 master 分支创建一个带有描述性名称的分支，该名称应包含您即将处理的问题编号：

git clone git@github.com:{your username}/ATM.git
cd ATM
git branch issue-xx-cool-new-feature master
git checkout issue-xx-cool-new-feature

最后，通过以下命令安装项目，这将同时安装一些用于代码检查和测试的附加依赖项：

make install-develop

请务必在开发过程中定期运行 make lint 和 make test 命令。

数据格式

ATM 的输入始终是一个符合以下特征的 CSV 文件：

• 使用单个逗号 , 作为分隔符。
• 第一行是包含列名的表头。
• 必须有一列作为目标变量，用于预测。
• 其余各列为用于预测目标列的特征或变量。
• 每一行对应一个完整的训练样本。

以下是一个包含 4 个特征和名为 class 的目标列的有效 CSV 文件的前 5 行示例：

feature_01,feature_02,feature_03,feature_04,class
5.1,3.5,1.4,0.2,Iris-setosa
4.9,3.0,1.4,0.2,Iris-setosa
4.7,3.2,1.3,0.2,Iris-setosa
4.6,3.1,1.5,0.2,Iris-setosa

此 CSV 文件可以作为本地文件路径传递给 ATM，也可以以完整的 AWS S3 存储桶及路径规范，或直接通过 URL 提供。

您可以在 AWS 中的 atm-data S3 存储桶 中找到一系列演示数据集。

快速入门

在本简短教程中，我们将引导您完成一系列步骤，帮助您通过探索其 Python API 来开始使用 ATM。

1. 获取演示数据

运行 ATM 的第一步是获取将在后续教程中使用的演示数据集。

本次演示我们将使用 atm-data 存储桶中的污染数据 CSV 文件，您可以通过浏览器从这里下载，或使用以下命令：

atm download_demo pollution_1.csv

2. 创建 ATM 实例

获取演示数据后，下一步就是创建一个 ATM 实例。

from atm import ATM

atm = ATM()

默认情况下，如果 ATM 实例未指定任何参数，它将在当前工作目录下创建一个名为 atm.db 的 SQLite 数据库。

如果您希望连接到 SQL 数据库，或更改 SQLite 数据库的位置，请参阅 API 参考文档，以获取所有可用选项的完整列表。

3. 搜索最佳模型

一旦你准备好 ATM 实例，就可以使用 atm.run 方法开始搜索能够更好地预测 CSV 文件目标列的模型。

此函数需要传入 CSV 文件的路径，该路径可以是本地文件系统路径，也可以是 HTTP 或 S3 资源的 URL。

例如，如果我们之前已将 pollution_1.csv 文件下载到当前工作目录中，我们可以这样调用 run：

results = atm.run(train_path='pollution_1.csv')

或者，我们也可以使用文件的 HTTPS URL，让 ATM 自动为我们下载 CSV 文件：

results = atm.run(train_path='https://atm-data.s3.amazonaws.com/pollution_1.csv')

最后一种方式是，如果文件存储在 S3 存储桶中，我们可以通过传递 s3://{bucket}/{key} 格式的 URI 来下载它：

results = atm.run(train_path='s3://atm-data/pollution_1.csv')

为了使这一操作适用于私有 S3 存储桶，请确保已配置好你的 AWS 凭证文件（AWS 凭证文件配置指南），或者在创建 ATM 实例时通过 access_key 和 secret_key 参数进行配置。

调用 run 后，将启动一个称为“数据运行”的过程，并在测试和调优不同模型的过程中显示进度条。

Processing dataset demos/pollution_1.csv
100%|##########################| 100/100 [00:10<00:00,  6.09it/s]

当此过程结束时，会打印一条消息，表明“数据运行”已完成。随后，我们可以探索 results 对象。

4. 探索结果

数据运行完成后，我们可以通过多种方式来探索 results 对象：

a. 获取数据运行的摘要

describe 方法会返回数据运行执行的摘要信息：

results.describe()

这将打印出类似如下的简短描述：

Datarun 1 summary:
    Dataset: 'demos/pollution_1.csv'
    Column Name: 'class'
    Judgment Metric: 'f1'
    Classifiers Tested: 100
    Elapsed Time: 0:00:07.638668

b. 获取最佳分类器的摘要

get_best_classifier 方法会打印出本次数据运行中找到的最佳分类器的相关信息，包括所使用的算法及最优超参数：

results.get_best_classifier()

输出内容可能如下所示：

Classifier id: 94
Classifier type: knn
Params chosen:
    n_neighbors: 13
    leaf_size: 38
    weights: uniform
    algorithm: kd_tree
    metric: manhattan
    _scale: True
Cross Validation Score: 0.858 +- 0.096
Test Score: 0.714

c. 探索评分

get_scores 方法会返回一个包含数据运行期间所有测试分类器信息的 pandas.DataFrame，其中包括它们的交叉验证分数以及其序列化模型的保存位置。

scores = results.get_scores()

评分 DataFrame 的内容可能类似于以下内容：

  cv_judgment_metric cv_judgment_metric_stdev  id test_judgment_metric  rank
0       0.8584126984             0.0960095737  94         0.7142857143   1.0
1       0.8222222222             0.0623609564  12         0.6250000000   2.0
2       0.8147619048             0.1117618135  64         0.8750000000   3.0
3       0.8139393939             0.0588721670  68         0.6086956522   4.0
4       0.8067754468             0.0875180564  50         0.6250000000   5.0
...

5. 进行预测

当我们找到并分析了最佳分类器后，接下来就需要使用它来进行预测。

为此，我们需要遵循以下几个步骤：

a. 导出最佳分类器

export_best_classifier 方法可用于将最佳分类器模型序列化并以 pickle 格式保存到指定位置：

results.export_best_classifier('path/to/model.pkl')

如果分类器成功保存，系统将打印一条确认消息：

Classifier 94 saved as path/to/model.pkl

如果你提供的路径已存在，可以通过添加 force=True 参数来覆盖原有文件。

b. 加载导出的模型

导出完成后，你可以通过调用 atm.Model 类的 load 方法并传入模型保存路径将其重新加载：

from atm import Model

model = Model.load('path/to/model.pkl')

加载模型后，你可以将新数据传递给其 predict 方法来进行预测：

import pandas as pd

data = pd.read_csv(demo_datasets['pollution'])

predictions = model.predict(data.head())

下一步是什么？

如需了解更多关于 ATM 及其各种可能性和功能的信息，请访问其文档网站。

在那里，你可以进一步了解其命令行界面和REST API，以及如何参与贡献（ATM 社区贡献指南），帮助我们开发新功能或实现更多创意。

致谢

ATM 是麻省理工学院数据到 AI 实验室的一个开源项目，多年来由以下团队构建和维护：

• Bennett Cyphers bcyphers@mit.edu
• Thomas Swearingen swearin3@msu.edu
• Carles Sala csala@csail.mit.edu
• Plamen Valentinov plamen@pythiac.com
• Kalyan Veeramachaneni kalyan@mit.edu
• Micah Smith micahjsmith@gmail.com
• Laura Gustafson lgustaf@mit.edu
• Kiran Karra kiran.karra@gmail.com
• Max Kanter kmax12@gmail.com
• Alfredo Cuesta-Infante alfredo.cuesta@urjc.es
• Favio André Vázquez favio.vazquezp@gmail.com
• Matteo Hoch minime@hochweb.com

引用 ATM

如果您使用 ATM，请考虑引用以下论文：

Thomas Swearingen, Will Drevo, Bennett Cyphers, Alfredo Cuesta-Infante, Arun Ross, Kalyan Veeramachaneni. ATM：一种分布式、协作式、可扩展的自动化机器学习系统。 IEEE BigData 2017, 151–162页

BibTeX 条目：

@inproceedings{DBLP:conf/bigdataconf/SwearingenDCCRV17,
  author    = {Thomas Swearingen and
               Will Drevo and
               Bennett Cyphers and
               Alfredo Cuesta{-}Infante and
               Arun Ross and
               Kalyan Veeramachaneni},
  title     = {{ATM:} {A} distributed, collaborative, scalable system for automated
               machine learning},
  booktitle = {2017 {IEEE} International Conference on Big Data, BigData 2017, Boston,
               MA, USA, December 11-14, 2017},
  pages     = {151--162},
  year      = {2017},
  crossref  = {DBLP:conf/bigdataconf/2017},
  url       = {https://doi.org/10.1109/BigData.2017.8257923},
  doi       = {10.1109/BigData.2017.8257923},
  timestamp = {Tue, 23 Jan 2018 12:40:42 +0100},
  biburl    = {https://dblp.org/rec/bib/conf/bigdataconf/SwearingenDCCRV17},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

相关项目

BTB

BTB，即贝叶斯调优与多臂老虎机，是 HDI 项目下正在开发的核心 AutoML 库。BTB 通过一个通用的 API 暴露了多种超参数选择和调优方法。它允许领域专家轻松扩展现有方法并添加新方法。BTB 是 ATM 的核心组成部分，这两个项目是协同开发的，但它被设计为实现无关，因此应适用于广泛的超参数选择任务。

Featuretools

Featuretools 是一个用于自动化特征工程的 Python 库。它可以用来为 ATM 准备原始的事务性和关系型数据集。该库由 Feature Labs 创建并维护，同时也是 人类数据交互项目 的一部分。

ATM 快速上手指南

ATM (Auto Tune Models) 是由麻省理工学院 (MIT) Data to AI Lab 开发的开源 AutoML 系统。它旨在简化机器学习流程：用户只需提供分类问题和 CSV 格式的数据集，ATM 即可自动尝试构建最佳模型。

环境准备

系统要求：

• Python 版本：2.7, 3.5 或 3.6（推荐 Python 3.6）
• 操作系统：Linux, macOS 或 Windows

前置依赖： 强烈建议使用虚拟环境（virtualenv）以避免与系统其他软件冲突。

# 安装 virtualenv
pip install virtualenv

# 创建名为 atm-venv 的虚拟环境（以 python3.6 为例）
virtualenv -p $(which python3.6) atm-venv

# 激活虚拟环境
source atm-venv/bin/activate

注意：每次开启新的终端会话工作时，都需要重新运行激活命令。

安装步骤

你可以通过 PyPI 直接安装稳定版，或者从源码安装。

方式一：使用 pip 安装（推荐）

pip install atm

方式二：从源码安装

git clone git@github.com:HDI-Project/ATM.git
cd ATM
git checkout stable
make install

基本使用

以下是最简单的使用流程，演示如何加载数据、自动搜索最佳模型并查看结果。

1. 获取示例数据

首先下载官方提供的演示数据集（污染预测数据）：

atm download_demo pollution_1.csv

2. 运行自动建模

创建一个 Python 脚本（例如 run_atm.py），输入以下代码：

from atm import ATM

# 初始化 ATM 实例（默认会在当前目录创建 atm.db SQLite 数据库）
atm = ATM()

# 开始搜索最佳模型
# train_path 可以是本地文件路径、HTTP URL 或 S3 路径
results = atm.run(train_path='pollution_1.csv')

运行脚本后，ATM 将启动一个 Datarun 任务，自动测试并调整多种分类器，终端会显示进度条：

Processing dataset demos/pollution_1.csv
100%|##########################| 100/100 [00:10<00:00,  6.09it/s]

3. 查看结果

任务完成后，可以通过 results 对象探索最佳模型信息：

# 查看运行摘要
results.describe()

# 获取最佳分类器的详细信息（算法类型、超参数、得分等）
results.get_best_classifier()

# 获取所有测试模型的评分 DataFrame
scores = results.get_scores()
print(scores.head())

输出示例：

Classifier id: 94
Classifier type: knn
Params chosen:
    n_neighbors: 13
    leaf_size: 38
    ...
Cross Validation Score: 0.858 +- 0.096
Test Score: 0.714

4. 导出模型并进行预测

找到最佳模型后，将其保存并在新数据上进行预测：

import pandas as pd
from atm import Model

# 导出最佳模型到本地文件
results.export_best_classifier('best_model.pkl')

# 加载已保存的模型
model = Model.load('best_model.pkl')

# 读取新数据进行预测
data = pd.read_csv('pollution_1.csv')
predictions = model.predict(data.head())

print(predictions)

---

更多高级功能（如命令行接口 CLI、REST API 及自定义配置）请参考官方文档：https://HDI-Project.github.io/ATM/