可微架构搜索

论文配套代码

DARTS：可微架构搜索
刘瀚霄、卡伦·西蒙尼扬、杨一鸣。
arXiv:1806.09055。

该算法基于架构空间中的连续松弛和梯度下降，能够高效地设计用于图像分类（在CIFAR-10和ImageNet上）的高性能卷积架构，以及用于语言建模（在Penn Treebank和WikiText-2上）的循环架构。仅需一张GPU即可运行。

环境要求

Python >= 3.5.5, PyTorch == 0.3.1, torchvision == 0.2.0

注意：目前不支持PyTorch 0.4版本，使用该版本会导致内存溢出（OOM）。

数据集

获取PTB和WT2数据集的说明请参见这里。CIFAR-10数据集可由torchvision自动下载，而ImageNet则需要手动下载（建议下载到SSD上），具体步骤请参考这里。

预训练模型

入门最简单的方式是直接评估我们预训练好的DARTS模型。

CIFAR-10 (cifar10_model.pt)

cd cnn && python test.py --auxiliary --model_path cifar10_model.pt

• 预期结果：测试误差率为2.63%，模型参数量为330万。

PTB (ptb_model.pt)

cd rnn && python test.py --model_path ptb_model.pt

• 预期结果：测试困惑度为55.68，模型参数量为2300万。

ImageNet (imagenet_model.pt)

cd cnn && python test_imagenet.py --auxiliary --model_path imagenet_model.pt

• 预期结果：Top-1错误率为26.7%，Top-5错误率为8.7%，模型参数量为470万。

架构搜索（使用小型代理模型）

要进行二阶近似的架构搜索，请运行：

cd cnn && python train_search.py --unrolled     # 用于CIFAR-10上的卷积细胞
cd rnn && python train_search.py --unrolled     # 用于PTB上的循环细胞

请注意，此步骤中的验证性能并不能代表最终架构的实际表现。必须使用完整尺寸的模型从头开始训练所获得的基因型/架构，具体方法见下文。

此外，需要注意的是，每次运行可能会收敛到不同的局部最优解。为了得到最佳结果，关键在于使用不同的随机种子重复搜索过程，并根据验证性能（通过从头训练所得细胞几个epoch后获得）选择最佳的细胞结构。详情请参阅我们的arXiv论文中的图3和第3.2节。

图：随时间推移，最有可能的普通卷积单元、缩减卷积单元和循环单元的快照。

架构评估（使用完整尺寸模型）

要通过从头训练来评估我们找到的最佳细胞，请运行：

cd cnn && python train.py --auxiliary --cutout            # CIFAR-10
cd rnn && python train.py                                 # PTB
cd rnn && python train.py --data ../data/wikitext-2 \     # WT2
            --dropouth 0.15 --emsize 700 --nhidlast 700 --nhid 700 --wdecay 5e-7
cd cnn && python train_imagenet.py --auxiliary            # ImageNet

一旦在genotypes.py中定义了自定义架构，即可通过--arch参数进行支持。

由于cuDNN反向传播核的非确定性，CIFAR-10训练结束时的结果可能存在一定波动。仅报告单次运行的结果会具有误导性。通过从头训练我们找到的最佳细胞，预计10次独立运行的平均测试误差率将有很大概率落在2.76% ± 0.09%范围内。

图：CIFAR-10（4次运行）、ImageNet和PTB的预期学习曲线。

可视化

需要安装graphviz包来可视化学习到的细胞结构：

python visualize.py DARTS

其中，DARTS可以替换为genotypes.py中任何自定义的架构。

引用

如果您在研究中使用了本代码的任何部分，请引用我们的论文：

@article{liu2018darts,
  title={DARTS: Differentiable Architecture Search},
  author={Liu, Hanxiao and Simonyan, Karen and Yang, Yiming},
  journal={arXiv preprint arXiv:1806.09055},
  year={2018}
}

DARTS 快速上手指南

DARTS (Differentiable Architecture Search) 是一个基于连续松弛和梯度下降的高效神经架构搜索算法，可用于设计高性能的卷积神经网络（图像分类）和循环神经网络（语言模型）。

环境准备

系统要求

• Python: >= 3.5.5
• PyTorch: == 0.3.1 (注意：当前版本不支持 PyTorch 0.4，否则会导致内存溢出 OOM)
• torchvision: == 0.2.0
• 其他依赖: graphviz (用于可视化架构)

数据集准备

• CIFAR-10: 代码运行时会自动下载。
• Penn Treebank (PTB) / WikiText-2 (WT2): 参考 AWD-LSTM-LM 获取数据。
• ImageNet: 需手动下载并存放至高速存储（推荐 SSD），参考 PyTorch ImageNet 示例。

安装步骤

1. 克隆仓库：

git clone https://github.com/quark0/darts.git
cd darts

2. 安装指定版本的依赖（建议使用虚拟环境）：

pip install torch==0.3.1 torchvision==0.2.0 graphviz

提示：由于 PyTorch 0.3.1 版本较老，若在国内下载缓慢，可配置清华或阿里镜像源加速： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==0.3.1 torchvision==0.2.0 graphviz

基本使用

方式一：评估预训练模型（最快开始）

直接测试官方提供的预训练模型以验证环境。

1. CIFAR-10 图像分类 预期结果：测试错误率 2.63% (参数量 3.3M)

cd cnn && python test.py --auxiliary --model_path cifar10_model.pt

(需先自行下载 cifar10_model.pt 到当前目录)

2. PTB 语言模型 预期结果：测试困惑度 55.68 (参数量 23M)

cd rnn && python test.py --model_path ptb_model.pt

(需先自行下载 ptb_model.pt 到当前目录)

方式二：执行架构搜索

使用二阶近似方法在代理模型上搜索架构。

搜索卷积单元 (CIFAR-10)

cd cnn && python train_search.py --unrolled

搜索循环单元 (PTB)

cd rnn && python train_search.py --unrolled

注意：此步骤得到的验证性能不代表最终性能。搜索完成后，需将得到的架构（genotype）放入 genotypes.py，并使用全尺寸模型从头训练进行评估。

方式三：从头训练评估架构

将搜索到的最佳架构（或自定义架构）在全尺寸模型上从头训练。

CIFAR-10

cd cnn && python train.py --auxiliary --cutout

PTB

cd rnn && python train.py

ImageNet

cd cnn && python train_imagenet.py --auxiliary

可视化架构

查看学习到的细胞结构（需安装 graphviz）：

python visualize.py DARTS

其中 DARTS 可替换为 genotypes.py 中定义的任何自定义架构名称。