PyTorch 中的高效神经架构搜索 (ENAS)

基于 通过参数共享进行高效神经架构搜索 的 PyTorch 实现。

ENAS 通过在大型计算图中的子图模型之间共享参数，将 神经架构搜索（NAS）的计算需求（GPU 小时数）降低了 1000 倍。在 Penn Treebank 语言建模任务上达到 SOTA 水平。

**[注意] 请使用作者提供的官方代码：链接**

先决条件

• Python 3.6+
• PyTorch==0.3.1
• tqdm、scipy、imageio、graphviz、tensorboardX

使用方法

安装先决条件：

conda install graphviz
pip install -r requirements.txt

训练 ENAS 以发现用于 RNN 的循环单元：

python main.py --network_type rnn --dataset ptb --controller_optim adam --controller_lr 0.00035 \
               --shared_optim sgd --shared_lr 20.0 --entropy_coeff 0.0001

python main.py --network_type rnn --dataset wikitext

训练 ENAS 以发现 CNN 架构（正在进行中）：

python main.py --network_type cnn --dataset cifar --controller_optim momentum --controller_lr_cosine=True \
               --controller_lr_max 0.05 --controller_lr_min 0.0001 --entropy_coeff 0.1

或者，您也可以使用自己的数据集，将图像放置如下：

data
├── YOUR_TEXT_DATASET
│   ├── test.txt
│   ├── train.txt
│   └── valid.txt
├── YOUR_IMAGE_DATASET
│   ├── test
│   │   ├── xxx.jpg（文件名无关紧要）
│   │   ├── yyy.jpg（文件名无关紧要）
│   │   └── ...
│   ├── train
│   │   ├── xxx.jpg
│   │   └── ...
│   └── valid
│       ├── xxx.jpg
│       └── ...
├── image.py
└── text.py

生成生成样本的 gif 图像：

python generate_gif.py --model_name=ptb_2018-02-15_11-20-02 --output=sample.gif

更多配置可在 config.py 中找到。

结果

高效神经架构搜索（ENAS）由两组可学习参数组成：控制器 LSTM θ 和共享参数 ω。这两组参数交替训练，最终仅使用训练好的控制器来推导出新的架构。

1. 发现循环单元

控制器 LSTM 决定：1) 使用何种激活函数；2) 连接到哪个前序节点。

ENAS 为 Penn Treebank 和 WikiText-2 数据集发现的 RNN 单元：

在第 27 轮 epoch 时为 Penn Treebank 发现的最佳 ENAS 单元：

您可以通过以下命令查看训练细节（如 reward、entropy、loss）：

tensorboard --logdir=logs --port=6006

2. 发现卷积神经网络

控制器 LSTM 采样决定：1) 使用何种计算操作；2) 连接到哪个前序节点。

ENAS 为 CIFAR-10 数据集发现的 CNN 网络：

（正在进行中）

3. 设计卷积单元

（正在进行中）

参考文献

• 使用强化学习进行神经架构搜索
• 使用强化学习进行神经优化器搜索

作者

Taehoon Kim / @carpedm20

ENAS-pytorch 快速上手指南

本指南基于 PyTorch 实现的 Efficient Neural Architecture Search (ENAS)，旨在通过参数共享技术，将神经架构搜索（NAS）的计算成本降低 1000 倍，快速发现高效的 RNN 或 CNN 结构。

注意：本项目为社区实现版本。如需生产环境使用，建议优先参考作者官方代码库：melodyguan/enas。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.6 及以上
• PyTorch 版本：必须为 0.3.1 (版本不匹配可能导致运行失败)
• 其他依赖：tqdm, scipy, imageio, graphviz, tensorboardX

国内加速建议： 安装 Python 包时，推荐使用清华或阿里镜像源以提升下载速度。

2. 安装步骤

第一步：安装系统级依赖

ENAS 需要 graphviz 来可视化生成的网络结构。

• Conda 用户（推荐）：

  conda install graphviz
  

• Ubuntu/Debian 用户：

  sudo apt-get install graphviz graphviz-dev
  

• macOS 用户：

  brew install graphviz
  

第二步：安装 Python 依赖

克隆项目后，进入目录并安装所需的 Python 包。建议使用国内镜像源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

重要提示：请手动检查并确保安装的 torch 版本严格等于 0.3.1。如果当前环境版本过高，请使用以下命令降级：

pip install torch==0.3.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

ENAS 主要用于自动搜索循环神经网络（RNN）单元或卷积神经网络（CNN）架构。以下是两种最常用场景的启动命令。

场景一：搜索 RNN 循环单元（推荐入门）

此命令将在 Penn Treebank (PTB) 数据集上训练控制器，以发现最优的 RNN 细胞结构。

python main.py --network_type rnn --dataset ptb --controller_optim adam --controller_lr 0.00035 \
               --shared_optim sgd --shared_lr 20.0 --entropy_coeff 0.0001

若需使用 WikiText 数据集，可运行：

python main.py --network_type rnn --dataset wikitext

场景二：搜索 CNN 架构（实验阶段）

此命令将在 CIFAR-10 数据集上搜索卷积神经网络架构。

python main.py --network_type cnn --dataset cifar --controller_optim momentum --controller_lr_cosine=True \
               --controller_lr_max 0.05 --controller_lr_min 0.0001 --entropy_coeff 0.1

自定义数据集

如果您想使用自己的数据，请按以下结构组织文件：

data
├── YOUR_TEXT_DATASET
│   ├── test.txt
│   ├── train.txt
│   └── valid.txt
├── YOUR_IMAGE_DATASET
│   ├── test
│   │   ├── xxx.jpg
│   │   └── ...
│   ├── train
│   │   ├── xxx.jpg
│   │   └── ...
│   └── valid
│       ├── xxx.jpg
│       └── ...
├── image.py
└── text.py

查看训练进度与结果

训练过程中产生的奖励（reward）、熵（entropy）和损失（loss）等指标可通过 TensorBoard 查看：

tensorboard --logdir=logs --port=6006

训练完成后，可生成搜索到的网络结构 GIF 动图：

python generate_gif.py --model_name=ptb_2018-02-15_11-20-02 --output=sample.gif

更多高级配置参数请参考 config.py 文件。