AdaNet

AdaNet 是一个基于 TensorFlow 的轻量级框架，旨在以最少的专家干预自动学习高质量模型。AdaNet 借鉴了近期的 AutoML 研究成果，在提供学习保证的同时，兼具快速性和灵活性。更重要的是，AdaNet 提供了一个通用框架，不仅可以学习神经网络架构，还可以学习集成方法，从而获得更优的模型。

该项目基于 AdaNet 算法，该算法在 ICML 2017 上发表于论文“AdaNet: 自适应结构化人工神经网络学习”，用于将神经网络结构学习为子网络的集成。

AdaNet 的目标如下：

• 易用性: 提供熟悉的 API（如 Keras、Estimator），用于训练、评估和部署模型。
• 速度: 能够根据可用计算资源扩展，并快速生成高质量模型。
• 灵活性: 允许研究人员和从业者扩展 AdaNet，以支持新的子网络架构、搜索空间和任务。
• 学习保证: 优化具有理论学习保证的目标函数。

以下动画展示了 AdaNet 自适应地增长神经网络集成的过程。在每一轮迭代中，它会评估每个候选子网络的集成损失，并选择最优的子网络进入下一轮迭代。在后续的迭代中，蓝色的子网络会被冻结，只有黄色的子网络会继续训练：

AdaNet 最早由 Google AI 研究博客宣布：“介绍 AdaNet：具备学习保证的快速灵活 AutoML”。

本项目并非 Google 官方产品。

功能特性

AdaNet 提供以下 AutoML 功能：

• 在一次训练调用中实现自适应神经架构搜索与集成学习。
• 支持回归、二分类、多分类以及多头任务。
• 提供 tf.estimator.Estimator API，用于训练、评估、预测和部署模型。
• 提供 adanet.AutoEnsembleEstimator，用于学习集成用户定义的 tf.estimator.Estimators。
• 可通过 adanet.subnetwork API 使用 tf.layers 定义随时间改变结构的子网络。
• 支持 CPU、GPU 和 TPU。
• 分布式多服务器训练。
• 集成 TensorBoard。

示例

一个简单的示例，用于学习集成线性模型和神经网络模型：

import adanet
import tensorflow as tf

# 定义用于计算损失和评估指标的模型头部。
head = MultiClassHead(n_classes=10)

# 特征列定义如何处理输入样本。
feature_columns = ...

# 学习集成线性模型和神经网络模型。
estimator = adanet.AutoEnsembleEstimator(
    head=head,
    candidate_pool={
        "linear":
            tf.estimator.LinearEstimator(
                head=head,
                feature_columns=feature_columns,
                optimizer=...),
        "dnn":
            tf.estimator.DNNEstimator(
                head=head,
                feature_columns=feature_columns,
                optimizer=...,
                hidden_units=[1000, 500, 100])},
    max_iteration_steps=50)

estimator.train(input_fn=train_input_fn, steps=100)
metrics = estimator.evaluate(input_fn=eval_input_fn)
predictions = estimator.predict(input_fn=predict_input_fn)

快速入门

为了帮助您快速上手：

• API 文档
• 教程：了解 AdaNet 算法并学习使用本包

系统要求

需要 Python 3.6 或更高版本。

adanet 构建于 TensorFlow 2.1 之上。它依赖于 TensorFlow 2.1 之前版本中不存在的错误修复和功能增强。您必须安装或升级您的 TensorFlow 包至至少 2.1：

$ pip install "tensorflow==2.1"

使用 Pip 安装

您可以使用 pip 包管理器 从 PyPi 安装官方 adanet 包：

$ pip install adanet

从源码安装

要从源码安装，首先需要按照他们的 安装说明 安装 bazel。

然后克隆 adanet 仓库：

$ git clone https://github.com/tensorflow/adanet
$ cd adanet

在 adanet 根目录下运行测试：

$ bazel build -c opt //...
$ python3 -m nose

确认测试通过后，即可将 adanet 作为 pip 包 从源码安装。

现在您已经准备好开始使用 adanet 进行实验了。

import adanet

引用本工作

如果您在学术研究中使用此 AdaNet 库，建议引用以下来自 ICML 2019 AutoML Workshop 的论文：

@misc{weill2019adanet,
    title={AdaNet: 一个可扩展且灵活的自动学习集成框架},
    author={Charles Weill、Javier Gonzalvo、Vitaly Kuznetsov、Scott Yang、Scott Yak、Hanna Mazzawi、Eugen Hotaj、Ghassen Jerfel、Vladimir Macko、Ben Adlam、Mehryar Mohri、Corinna Cortes},
    year={2019},
    eprint={1905.00080},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

许可证

AdaNet 采用 Apache 2.0 许可证 发布。

AdaNet 快速上手指南

AdaNet 是一个基于 TensorFlow 的轻量级框架，旨在通过最小的专家干预自动学习高质量模型。它不仅支持神经网络架构搜索，还能自适应地学习集成（Ensemble）多个子网络，从而获得更优的模型性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS, 或 Windows
• Python 版本：3.6 或更高
• TensorFlow 版本：必须安装 TensorFlow 2.1 或更高版本（AdaNet 依赖该版本的特定修复和功能）。

国内加速建议： 如果您在中国大陆，建议使用清华或阿里云镜像源加速 Python 包的安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

安装步骤

方法一：使用 Pip 安装（推荐）

直接使用 pip 安装官方发布的稳定版本：

pip install adanet

注意：如果尚未安装 TensorFlow 2.1+，请先执行以下命令升级或安装：

pip install "tensorflow==2.1"

方法二：从源码安装

如果您需要最新的功能或参与贡献，可以从 GitHub 克隆源码进行安装。此方法需要预先安装 Bazel。

1. 克隆仓库：

   git clone https://github.com/tensorflow/adanet
   cd adanet
   

2. （可选）运行测试验证环境：

   bazel build -c opt //...
   python3 -m nose
   

3. 按照 adanet/pip_package/PIP.md 中的说明构建并安装 pip 包。

基本使用

AdaNet 的核心功能是自动集成不同的候选模型（如线性模型和深度神经网络）。以下是一个最简单的示例，展示如何创建一个 AutoEnsembleEstimator 来同时训练线性模型和 DNN 模型，并让 AdaNet 自动选择最佳集成策略。

import adanet
import tensorflow as tf
from tensorflow.estimator import Head # 注意：根据 TF 版本导入路径可能略有不同，此处示意逻辑

# 1. 定义模型头（用于计算损失和评估指标，例如 10 类分类）
# 实际使用时请根据具体 TF 版本调整 Head 的导入和初始化方式
head = tf.estimator.HeadForMultiClass(n_classes=10) 

# 2. 定义特征列 (Feature Columns)
# feature_columns = [...] 

# 3. 创建 AutoEnsembleEstimator
# candidate_pool 定义了待集成的候选模型池
estimator = adanet.AutoEnsembleEstimator(
    head=head,
    candidate_pool={
        "linear": tf.estimator.LinearEstimator(
            head=head,
            feature_columns=feature_columns,
            optimizer=tf.optimizers.Adam(learning_rate=0.01)),
        "dnn": tf.estimator.DNNEstimator(
            head=head,
            feature_columns=feature_columns,
            optimizer=tf.optimizers.Adam(learning_rate=0.01),
            hidden_units=[1000, 500, 100])
    },
    max_iteration_steps=50) # 最大迭代步数

# 4. 训练模型
estimator.train(input_fn=train_input_fn, steps=100)

# 5. 评估模型
metrics = estimator.evaluate(input_fn=eval_input_fn)

# 6. 进行预测
predictions = estimator.predict(input_fn=predict_input_fn)

核心逻辑说明：

• AdaNet 会在每次迭代中评估候选池中的模型表现。
• 它会自动决定是将新的子网络加入集成，还是冻结已有的子网络（如示意图中的蓝色部分），仅训练新加入的部分（黄色部分）。
• 最终得到一个由多个子网络组成的、性能更优的集成模型。

更多详细教程和 API 文档请访问 AdaNet 官方文档。