令人惊叹的架构搜索

一份精心整理的关于架构搜索和超参数优化的优质资源列表。灵感来源于 awesome-deep-vision、awesome-adversarial-machine-learning 和 awesome-deep-learning-papers。

超参数优化一直是机器学习社区中的热门领域，而架构搜索则是在近几年才崭露头角的新星。以下是一些非常棒的资源！

目录

• 架构搜索
  • 强化学习
  • 进化算法
  • 其他
• 超参数搜索
• 贡献
• 许可证

架构搜索

强化学习

• 使用强化学习进行神经网络架构搜索 [pdf]
  • Barret Zoph 和 Quoc V. Le. ICLR'17
• 利用强化学习设计神经网络架构 [pdf] [代码]
  • Bowen Baker、Otkrist Gupta、Nikhil Naik、Ramesh Raskar. ICLR'17
• 通过网络变换实现高效的架构搜索 [pdf] [代码]
  • Han Cai、Tianyao Chen、Weinan Zhang、Yong Yu、Jun Wang. AAAI'18
• 学习可迁移的架构以实现可扩展的图像识别 [pdf] [nasnet]
  • Barret Zoph、Vijay Vasudevan、Jonathan Shlens、Quoc V. Le. Arxiv 1707
• 实用的分块式神经网络架构生成 [pdf]
  • Zhao Zhong、Junjie Yan、Wei Wu、Jing Shao、Cheng-Lin Liu. CVPR'18
• 自动化 RNN 架构生成的灵活方法 [pdf]
  • Martin Schrimpf、Stephen Merity、James Bradbury、Richard Socher. ICLR'18
• 通过参数共享实现高效的神经网络架构搜索 [pdf] [代码（非官方）] [代码（官方）]
  • Hieu Pham、Melody Y. Guan、Barret Zoph、Quoc V. Le、Jeff Dean. Arxiv 1802
• 基于路径级别的网络变换实现高效架构搜索 [pdf] [代码]
  • Han Cai、Jiacheng Yang、Weinan Zhang、Song Han、Yong Yu. ICML'18

进化算法

• 大规模进化图像分类器 [pdf]
  • Esteban Real、Sherry Moore、Andrew Selle、Saurabh Saxena、Yutaka Leon Suematsu、Jie Tan、Quoc Le、Alex Kurakin. ICML'17
• 遗传 CNN [pdf] [代码]
  • Lingxi Xie 和 Alan Yuille. ICCV'17
• 用于高效架构搜索的层次化表示 [pdf]
  • Hanxiao Liu、Karen Simonyan、Oriol Vinyals、Chrisantha Fernando、Koray Kavukcuoglu. ICLR'18
• 正则化进化用于图像分类器架构搜索 [pdf]
  • Esteban Real、Alok Aggarwal、Yanping Huang、Quoc V Le. Arxiv 1802
• 不依赖权重的神经网络 [pdf]
  • Adam Gaier、David Ha. NeurIPS'19

其他

• 神经架构优化 [pdf] [code]
  • Renqian Luo, Fei Tian, Tao Qin, Enhong Chen, Tie-Yan Liu. Arxiv 1808
• DeepArchitect：自动设计和训练深度架构 [pdf] [code]
  • Renato Negrinho 和 Geoff Gordon. Arxiv 1704
• SMASH：通过超网络进行一次性模型架构搜索 [pdf] [code]
  • Andrew Brock、Theodore Lim、J.M. Ritchie、Nick Weston。ICLR'18
• 卷积神经网络的简单高效架构搜索 [pdf]
  • Thomas Elsken、Jan-Hendrik Metzen、Frank Hutter。ICLR'18 工作坊
• 渐进式神经架构搜索 [pdf]
  • Chenxi Liu、Barret Zoph、Jonathon Shlens、Wei Hua、Li-Jia Li、Li Fei-Fei、Alan Yuille、Jonathan Huang、Kevin Murphy。Arxiv 1712
• DPP-Net：面向设备的帕累托最优神经架构渐进式搜索 [pdf]
  • Jin-Dong Dong、An-Chieh Cheng、Da-Cheng Juan、Wei Wei、Min Sun。ECCV'18
• 基于贝叶斯优化与最优传输的神经架构搜索 [pdf]
  • Kirthevasan Kandasamy、Willie Neiswanger、Jeff Schneider、Barnabas Poczos、Eric Xing。Arxiv 1802
• 使用搜索法为深度卷积神经网络设计有效的构建模块 [pdf]
  • Jayanta K Dutta、Jiayi Liu、Unmesh Kurup、Mohak Shah。Arxiv 1801
• DARTS：可微分架构搜索 [pdf] [code]
  • Hanxiao Liu、Karen Simonyan、Yiming Yang。Arxiv 1806
• 借助网络形态学实现高效的神经架构搜索 [pdf] [code]
  • Haifeng Jin、Qingquan Song、Xia Hu。Arxiv 1806
• 寻找用于密集图像预测的高效多尺度架构 [pdf]
  • Liang-Chieh Chen、Maxwell D. Collins、Yukun Zhu、George Papandreou、Barret Zoph、Florian Schroff、Hartwig Adam、Jonathon Shlens。Arxiv 1809
• AMC：移动端模型压缩与加速的 AutoML [pdf] [code（非官方）]
  • Yihui He、Ji Lin、Zhijian Liu、Hanrui Wang、Li-Jia Li、Song Han。ECCV'18
• MorphNet：快速简单的资源受限深度网络结构学习 [pdf]
  • Ariel Gordon、Elad Eban、Bo Chen、Ofir Nachum、Tien-Ju Yang、Edward Choi。CVPR'18
• 权重无关神经网络 [pdf]
  • Adam Gaier、David Ha。NeurIPS'19
• 向模块化和可编程架构搜索迈进 [pdf] [code]
  • Renato Negrinho、Darshan Patil、Nghia Le、Daniel Ferreira、Matthew Gormley、Geoffrey Gordon。NeurIPS'19

超参数搜索

• 通过学习曲线外推加速深度神经网络的自动超参数优化 [pdf] [code]
  • Tobias Domhan、Jost Tobias Springenberg、Frank Hutter。IJCAI'15
• Hyperband：一种基于赌博理论的新型超参数优化方法 [pdf]
  • Lisha Li、Kevin Jamieson、Giulia DeSalvo、Afshin Rostamizadeh、Ameet Talwalkar。ICLR'17
• 基于贝叶斯神经网络的学习曲线预测 [pdf]
  • Aaron Klein、Stefan Falkner、Jost Tobias Springenberg、Frank Hutter。ICLR'17
• 利用性能预测加速神经架构搜索 [pdf]
  • Bowen Baker、Otkrist Gupta、Ramesh Raskar、Nikhil Naik。ICLR'18 工作坊
• 超参数优化：一种谱方法 [pdf] [code]
  • Elad Hazan、Adam Klivans、Yang Yuan。NIPS DLTP 工作坊 2017
• 基于群体的神经网络训练 [pdf]
  • Max Jaderberg、Valentin Dalibard、Simon Osindero、Wojciech M. Czarnecki、Jeff Donahue、Ali Razavi、Oriol Vinyals、Tim Green、Iain Dunning、Karen Simonyan、Chrisantha Fernando、Koray Kavukcuoglu。Arxiv 1711

贡献

请通过联系我或提交拉取请求来帮助完善此列表。

Markdown 格式：

- 论文名称 [[pdf]](链接) [[code]](链接)
  - 作者1、作者2、作者3。*会议年份*

许可证

在法律允许的最大范围内，Mark Dong 已放弃本作品的所有版权及相关权利或邻接权利。

Awesome Architecture Search 快速上手指南

awesome-architecture-search 并非一个可直接安装的单一软件库，而是一个精选资源列表，汇集了神经架构搜索（NAS）和超参数优化领域的顶级论文、代码库及算法实现。本指南将帮助你利用该列表快速找到适合的工具并运行示例。

环境准备

由于列表中包含多种不同算法（如基于强化学习、进化算法或可微分搜索），具体依赖取决于你选择的特定项目。以下是通用的基础环境要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python: 3.6 或更高版本
• 深度学习框架: 根据目标项目选择 PyTorch 或 TensorFlow
• 硬件: 推荐使用 NVIDIA GPU (需安装对应的 CUDA 和 cuDNN)

前置依赖安装建议： 在克隆具体项目前，建议先安装基础的 Python 包管理工具：

pip install --upgrade pip setuptools wheel

安装步骤

由于这是一个资源索引，你需要从列表中选择具体的项目进行安装。以下以列表中热门的 DARTS (Differentiable Architecture Search) 为例演示安装流程：

1. 克隆目标仓库

   git clone https://github.com/quark0/darts.git
   cd darts
   

2. 安装项目依赖 大多数 NAS 项目会提供 requirements.txt。

   pip install -r requirements.txt
   

   注：若下载速度慢，可使用国内镜像源加速：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 验证安装 确保能够导入相关库且无报错。

   python -c "import torch; print(torch.__version__)"
   

基本使用

以下展示如何运行一个典型的架构搜索任务（以 DARTS 在 CIFAR-10 数据集上的搜索为例）：

1. 准备数据 确保当前目录下有 data 文件夹，部分项目会自动下载，若需手动下载请参照项目 README。

2. 执行搜索命令 在项目根目录运行搜索脚本。通常需要指定 GPU ID、数据集类型和保存路径。

   python search.py --gpu 0 --dataset cifar10 --save logs/search
   

3. 训练最终架构 搜索完成后，使用找到的最佳架构进行重新训练以评估性能：

   python train.py --gpu 0 --dataset cifar10 --arch [ARCH_ID] --save logs/eval
   

提示：

• 对于列表中的其他项目（如 ENAS, NAO, AutoKeras 等），请参考其对应 GitHub 仓库的 README 获取特定的运行命令。
• 如果是纯论文资源（无代码链接），建议直接在 ArXiv 阅读 PDF 以了解算法原理。