Auto-PyTorch

版权所有 © 2021 弗莱堡和汉诺威的AutoML小组

早期的AutoML框架主要专注于优化传统的机器学习流水线及其超参数，而AutoML的另一发展趋势则是聚焦于神经架构搜索。为了将这两个领域的优势结合起来，我们开发了Auto-PyTorch，它能够联合且稳健地优化网络架构与训练超参数，从而实现完全自动化的深度学习（AutoDL）。

Auto-PyTorch主要面向表格数据（分类、回归）和时间序列数据（预测）任务。针对表格数据的最新功能在论文《Auto-PyTorch Tabular: 多保真度元学习用于高效且鲁棒的AutoDL》中有所介绍（参见下方的BibTeX引用）。关于Auto-PyTorch在多水平时间序列预测任务中的详细内容，则可在论文《面向时间序列预测的高效自动化深度学习》中找到（同样请参阅下方的BibTeX引用）。

此外，您还可以在此处查阅文档：Auto-PyTorch文档。

自v0.1.0版本起，AutoPyTorch通过采用SMAC作为底层优化工具，并对代码结构进行调整，进一步提升了易用性、鲁棒性和效率。因此，从v0.0.2升级到v0.1.0将导致兼容性中断。如果您希望继续使用旧版API，可以在master_old分支中找到。

工作流程

Auto-Pytorch的工作流程大致描述如下图所示。

图中，数据由用户提供，而组合库则是一组在多种数据集上表现良好的神经网络配置集合。当前版本仅支持论文《Auto-PyTorch Tabular: 多保真度元学习用于高效且鲁棒的AutoDL》中描述的“贪婪组合库”。该组合库用于为SMAC优化提供初始启动点。换言之，我们会先以提供的数据集对组合库中的配置进行评估，作为初始配置。随后，API将执行以下步骤：

1. 验证输入数据：对每种数据类型进行预处理，例如对类别型数据进行编码，以便Auto-Pytorch能够正确处理。
2. 创建数据集：根据用户选择的交叉验证或留出法划分方式，创建一个可被本API处理的数据集。
3. 评估基准模型
   • 表格数据集 *1：使用预定义池中的每种算法，结合固定的超参数配置，以及来自sklearn.dummy的代表最差性能的哑模型进行训练。
   • 时间序列预测数据集：训练一个重复各序列中最后一个观测值的简单预测器。
4. 使用SMAC进行搜索： a. 根据Hyperband确定预算和终止规则。 b. 使用SMAC采样一个管道超参数配置 *2。 c. 根据获得的结果更新观测记录。 d. 重复a至c步骤，直至预算耗尽。
5. 从观测结果中为所提供的数据集构建最佳集成模型，并采用集成模型选择方法完成最终模型的选择。

*1：基准模型是预先定义好的机器学习算法集合，例如LightGBM和支持向量机，用于解决所提供的表格数据集上的回归或分类任务。

*2：管道超参数配置指定了每个步骤中组件的选择，例如目标算法、神经网络的结构等，以及相应的超参数。

安装

PyPI安装

pip install autoPyTorch

针对时间序列预测的Auto-PyTorch需要额外的依赖项：

pip install autoPyTorch[forecasting]

手动安装

我们建议使用Anaconda进行开发，具体步骤如下：

# 假设用户已在克隆的Auto-Pytorch目录下

# 还需初始化automl_common仓库，更多信息请参考：
# https://github.com/automl/automl_common/
git submodule update --init --recursive

# 创建环境
conda create -n auto-pytorch python=3.8
conda activate auto-pytorch
conda install swig
python setup.py install

同样地，若要安装Auto-PyTorch-TimeSeriesForecasting的所有依赖项：

git submodule update --init --recursive

conda create -n auto-pytorch python=3.8
conda activate auto-pytorch
conda install swig
pip install -e[forecasting]

示例

简而言之：

from autoPyTorch.api.tabular_classification import TabularClassificationTask

# 导入数据和评估指标
import sklearn.model_selection
import sklearn.datasets
import sklearn.metrics
X, y = sklearn.datasets.load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = \
        sklearn.model_selection.train_test_split(X, y, random_state=1)

# 初始化Auto-PyTorch API
api = TabularClassificationTask()

# 搜索机器学习算法的集成模型
api.search(
    X_train=X_train,
    y_train=y_train,
    X_test=X_test,
    y_test=y_test,
    optimize_metric='accuracy',
    total_walltime_limit=300,
    func_eval_time_limit_secs=50
)

# 计算测试准确率
y_pred = api.predict(X_test)
score = api.score(y_pred, y_test)
print("准确率得分", score)

对于时间序列预测任务：

from autoPyTorch.api.time_series_forecasting import TimeSeriesForecastingTask

# 导入数据和评估指标
from sktime.datasets import load_longley
targets, features = load_longley()

# 定义预测 horizon
forecasting_horizon = 3

# APT-TS优化后的数据集可以是包含多个np.ndarray或pd.DataFrame的列表，其中每个元素代表一个时间序列；也可以是一个记录所有时间序列的单个pd.DataFrame。
# 时间步信息：每个时间步属于哪个序列？这些信息可以存储在DataFrame的索引中，或者单独的一列中。
# 在每个序列中，我们将最后的forecasting_horizon作为测试目标，之前的部分作为训练目标。通常，待预测的值应遵循训练集中的模式。
y_train = [targets[: -forecasting_horizon]]
y_test = [targets[-forecasting_horizon:]]

# 特征数据同理。对于单变量模型，X_train和X_test可以省略，设置为None。
X_train = [features[: -forecasting_horizon]]
# 此处x_test表示“已知的未来特征”：即此前已知的特征；未知的特征可以用NAN或零代替（我们的网络不会使用这些值）。如果事先没有任何已知特征，

# 我们也可以省略 X_test
known_future_features = list(features.columns)
X_test = [features[-forecasting_horizon:]]

start_times = [targets.index.to_timestamp()[0]]
freq = '1Y'

# 初始化 Auto-PyTorch API
api = TimeSeriesForecastingTask()

# 搜索机器学习算法的集成模型
api.search(
    X_train=X_train,
    y_train=y_train,
    X_test=X_test, 
    optimize_metric='mean_MAPE_forecasting',
    n_prediction_steps=forecasting_horizon,
    memory_limit=16 * 1024,  # 目前，预测模型会占用大量内存
    freq=freq,
    start_times=start_times,
    func_eval_time_limit_secs=50,
    total_walltime_limit=60,
    min_num_test_instances=1000,  # 代理验证集。此设置仅适用于包含超过1000个时间序列的任务
    known_future_features=known_future_features,
)

# 我们的数据集可以直接为新数据集生成序列
test_sets = api.dataset.generate_test_seqs()

# 计算测试准确率
y_pred = api.predict(test_sets)
score = api.score(y_pred, y_test)
print("预测得分", score)

更多示例，包括自定义搜索空间、并行化代码等，请查看 examples 文件夹。

$ cd examples/

与论文相关的代码可在 TPAMI.2021.3067763 分支下的 examples/ensemble 目录中找到。

贡献

如果您想为 Auto-PyTorch 做出贡献，请克隆仓库并切换到当前开发分支：

$ git checkout development

许可证

本程序是自由软件，您可以根据 Apache 许可证 2.0 的条款重新分发和修改它（请参阅 LICENSE 文件）。

本程序以“按原样”提供，不提供任何明示或暗示的担保，包括适销性或特定用途适用性的担保。

您应随本程序一起收到一份 Apache 许可证 2.0 的副本（请参阅 LICENSE 文件）。

参考文献

请参考 TPAMI.2021.3067763 分支，以复现论文《Auto-PyTorch Tabular: 多保真度元学习用于高效且鲁棒的自动深度学习》。

  @article{zimmer-tpami21a,
  author = {Lucas Zimmer 和 Marius Lindauer 和 Frank Hutter},
  title = {Auto-PyTorch Tabular: 多保真度元学习用于高效且鲁棒的自动深度学习},
  journal = {IEEE 模式分析与机器智能汇刊},
  year = {2021},
  note = {也可在 https://arxiv.org/abs/2006.13799 上获取},
  pages = {3079 - 3090}
}

@incollection{mendoza-automlbook18a,
  author    = {Hector Mendoza 和 Aaron Klein 和 Matthias Feurer 和 Jost Tobias Springenberg 和 Matthias Urban 和 Michael Burkart 和 Max Dippel 和 Marius Lindauer 和 Frank Hutter},
  title     = {迈向自动调优的深度神经网络},
  year      = {2018},
  month     = 12月,
  editor    = {Frank Hutter 和 Lars Kotthoff 和 Joaquin Vanschoren},
  booktitle = {AutoML：方法、系统、挑战},
  publisher = {Springer},
  chapter   = {7},
  pages     = {141--156}
}

@article{deng-ecml22,
  author    = {Difan Deng 和 Florian Karl 和 Frank Hutter 和 Bernd Bischl 和 Marius Lindauer},
  title     = {用于时间序列预测的高效自动化深度学习},
  year      = {2022},
  booktitle = {机器学习与数据库中的知识发现。研究赛道——欧洲会议，ECML PKDD 2022},
  url       = {https://doi.org/10.48550/arXiv.2205.05511},
}

联系方式

Auto-PyTorch 由弗赖堡大学和汉诺威大学的 AutoML 团队 开发。

Auto-PyTorch 快速上手指南

Auto-PyTorch 是一个全自动深度学习（AutoDL）框架，旨在联合优化神经网络架构和训练超参数。它主要支持表格数据（分类、回归）和时间序列预测任务。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: 推荐 Python 3.8 (官方开发环境基于此版本)
• 包管理器: 推荐使用 Conda (Anaconda 或 Miniconda) 进行环境管理
• 系统依赖: 需要安装 swig (用于构建部分依赖)

安装步骤

推荐使用 Conda 创建独立环境以避免依赖冲突。

1. 创建并激活环境

conda create -n auto-pytorch python=3.8
conda activate auto-pytorch

2. 安装系统依赖

conda install swig

3. 安装 Auto-PyTorch

选项 A：仅安装表格数据支持 (分类/回归)

pip install autoPyTorch

选项 B：安装时间序列预测支持 (包含额外依赖)

pip install "autoPyTorch[forecasting]"

提示：国内用户若下载缓慢，可添加清华或阿里镜像源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple autoPyTorch

基本使用

以下是最简单的表格数据分类任务示例。Auto-PyTorch 会自动搜索最佳的神经网络架构和超参数组合。

表格数据分类示例

from autoPyTorch.api.tabular_classification import TabularClassificationTask

# 导入数据和评估指标工具
import sklearn.model_selection
import sklearn.datasets
import sklearn.metrics

# 加载示例数据 (手写数字识别)
X, y = sklearn.datasets.load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = \
        sklearn.model_selection.train_test_split(X, y, random_state=1)

# 初始化 Auto-PyTorch API (表格分类任务)
api = TabularClassificationTask()

# 开始搜索最优模型集成
# total_walltime_limit: 总搜索时间限制 (秒)
# func_eval_time_limit_secs: 单次模型评估时间限制 (秒)
api.search(
    X_train=X_train,
    y_train=y_train,
    X_test=X_test,
    y_test=y_test,
    optimize_metric='accuracy',
    total_walltime_limit=300,
    func_eval_time_limit_secs=50
)

# 使用找到的最佳模型进行预测
y_pred = api.predict(X_test)
score = api.score(y_pred, y_test)
print("Accuracy score", score)

时间序列预测示例 (简要)

对于时间序列任务，需使用 TimeSeriesForecastingTask。核心区别在于数据格式（通常需将序列整理为列表或特定 DataFrame）以及需要指定预测步长 (n_prediction_steps) 和时间频率 (freq)。

from autoPyTorch.api.time_series_forecasting import TimeSeriesForecastingTask

# 初始化 API
api = TimeSeriesForecastingTask()

# 执行搜索 (参数根据具体数据调整)
api.search(
    X_train=X_train, # 特征列表
    y_train=y_train, # 目标值列表
    X_test=X_test, 
    optimize_metric='mean_MAPE_forecasting',
    n_prediction_steps=3, # 预测未来 3 个时间点
    total_walltime_limit=60,
    func_eval_time_limit_secs=50,
    # ... 其他必要参数如 freq, start_times 等
)

# 预测与评估
test_sets = api.dataset.generate_test_seqs()
y_pred = api.predict(test_sets)
score = api.score(y_pred, y_test)
print("Forecasting score", score)

更多高级用法（如自定义搜索空间、并行化配置）请参考官方 examples 文件夹或完整文档。