通过参数共享进行高效的神经架构搜索

作者在 TensorFlow 中实现了 2018 年发表的“通过参数共享进行高效的神经架构搜索”一文。

包含 CIFAR-10 图像分类和 Penn Tree Bank 语言建模任务的代码。

论文链接：https://arxiv.org/abs/1802.03268

作者：Hieu Pham*、Melody Y. Guan*、Barret Zoph、Quoc V. Le、Jeff Dean

本项目并非 Google 官方产品。

Penn Treebank

重要勘误：本仓库中语言模型的实现存在错误，请勿使用。正确的实现位于新仓库。对于由此带来的不便，我们深表歉意。

CIFAR-10

要运行 CIFAR-10 上的实验，请先下载数据集。再次强调，所有超参数均在下文所述的脚本中明确指定。

要运行论文中描述的 宏观搜索空间 上的 ENAS 实验，请使用以下脚本：

./scripts/cifar10_macro_search.sh
./scripts/cifar10_macro_final.sh

一个具有 N 层的神经网络的宏观架构由 N 个部分组成，分别编号为 1, 2, 3, ..., N。第 i 部分包括：

• 一个取值为 [0, 1, 2, 3, 4, 5] 的数字，用于指定第 i 层的操作，分别对应于 conv_3x3、separable_conv_3x3、conv_5x5、separable_conv_5x5、average_pooling 和 max_pooling。
• 一个长度为 i - 1 的序列，每个元素为 0 或 1，表示是否应从对应的前一层到当前层建立跳跃连接。

具体示例可在我们的脚本 ./scripts/cifar10_macro_final.sh 中找到。

要运行论文中描述的 微观搜索空间 上的 ENAS 实验，请使用以下脚本：

./scripts/cifar10_micro_search.sh
./scripts/cifar10_micro_final.sh

一个具有 B + 2 个区块的微观单元可以通过 B 个区块来指定，这些区块编号为 2, 3, ..., B+1，每个区块由 4 个数字组成：

index_1, op_1, index_2, op_2

其中，index_1 和 index_2 可以是任意之前的索引。op_1 和 op_2 的取值范围为 [0, 1, 2, 3, 4]，分别对应于 separable_conv_3x3、separable_conv_5x5、average_pooling、max_pooling 和 identity。

微观架构可以通过两个细胞序列前后拼接来指定，具体示例如我们的脚本 ./scripts/cifar10_micro_final.sh 所示。

引用

如果您使用了我们的工作，请考虑引用我们的论文：

@inproceedings{enas,
  title     = {Efficient Neural Architecture Search via Parameter Sharing},
  author    = {Pham, Hieu and
               Guan, Melody Y. and
               Zoph, Barret and
               Le, Quoc V. and
               Dean, Jeff
  },
  booktitle = {ICML},
  year      = {2018}
}

ENAS 快速上手指南

本指南基于 Google Research 开源的 ENAS (Efficient Neural Architecture Search) 项目，帮助开发者快速在 CIFAR-10 数据集上运行神经架构搜索实验。

注意：根据官方说明，本仓库中的语言模型（Penn Treebank）实现存在错误，请勿使用。正确的语言模型实现请移步 google-research/enas_lm。本指南仅涵盖图像分类（CIFAR-10）部分。

环境准备

系统要求

• 操作系统: Linux 或 macOS (Windows 需通过 WSL 运行)
• Python: 建议 Python 3.6+
• GPU: 推荐使用 NVIDIA GPU 以加速训练过程

前置依赖

本项目基于 TensorFlow 1.x 构建。请确保已安装以下依赖：

• TensorFlow (1.12 - 1.15 版本兼容性较好)
• NumPy
• SciPy

国内开发者可使用清华或阿里镜像源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==1.15.0 numpy scipy

安装步骤

1. 克隆仓库 从 GitHub 克隆源代码到本地：

   git clone https://github.com/google-research/google-research.git
   cd google-research/enas
   

   (注：原 README 指向独立仓库，但勘误信息指向 google-research 主库，建议直接访问官方最新地址或确认具体 commit)

   若使用原始独立仓库：

   git clone https://github.com/melodyguan/enas.git
   cd enas
   

2. 下载数据集 运行 CIFAR-10 实验前，需手动下载数据集。 访问 CIFAR-10 官网 下载 cifar-10-binary.tar.gz。

   解压并将数据放置在脚本指定的目录下（通常为当前目录或 data/ 文件夹，具体请参考脚本内部路径配置）。

基本使用

ENAS 支持两种搜索空间：Macro Search Space（宏观搜索）和 Micro Search Space（微观搜索）。以下是最简单的运行示例。

1. 宏观搜索空间 (Macro Search Space)

适用于搜索整体网络层级结构。

• 启动搜索阶段：

  ./scripts/cifar10_macro_search.sh
  

  该脚本将训练控制器以探索最佳架构。

• 运行最终架构评估： 搜索完成后，使用找到的最佳架构进行完整训练：

  ./scripts/cifar10_macro_final.sh
  

架构说明： 宏观架构由 $N$ 层组成。每一层包含一个操作索引（0-5，分别对应 3x3 卷积、分离卷积、5x5 卷积等）以及一个长度为 $i-1$ 的二进制序列，用于决定是否从前序层引入跳跃连接（Skip Connection）。

2. 微观搜索空间 (Micro Search Space)

适用于搜索细胞（Cell）结构，类似 NASNet 的设计。

• 启动搜索阶段：

  ./scripts/cifar10_micro_search.sh
  

• 运行最终架构评估：

  ./scripts/cifar10_micro_final.sh
  

架构说明： 微观细胞由 $B+2$ 个块组成。每个块由 4 个数字定义 (index_1, op_1, index_2, op_2)，其中 index 指向之前的节点，op 代表操作类型（0-4，分别对应分离卷积、池化、恒等映射等）。最终架构由两个相同的细胞堆叠而成。

提示：所有超参数均已预设在上述 .sh 脚本中，初学者可直接运行无需修改。如需调整学习率或层数，请编辑对应的 shell 脚本文件。