ProxylessNAS：在目标任务和硬件上直接进行神经架构搜索 [arXiv] [海报]

@inproceedings{
  cai2018proxylessnas,
  title={Proxyless{NAS}: Direct Neural Architecture Search on Target Task and Hardware},
  author={Han Cai and Ligeng Zhu and Song Han},
  booktitle={International Conference on Learning Representations},
  year={2019},
  url={https://arxiv.org/pdf/1812.00332.pdf},
}

新闻

• ProxylessNAS 已集成到 PytorchHub。
• ProxylessNAS 已集成到微软的 NNI。
• ProxylessNAS 已集成到亚马逊的 AutoGluon。
• 在 CVPR 2019 的 TF-lite 轨道中，视觉唤醒词挑战赛获得第一名。
• 在 CVPR 2019 的低功耗图像识别挑战赛（LPIRC）分类赛道中，获得第三名。

性能

无需任何代理，即可在您的目标 任务 和 硬件 上直接且高效地搜索神经网络架构！

现在，ProxylessNAS 已上线 PyTorch Hub。您只需两行代码即可加载它！

target_platform = "proxyless_cpu" # proxyless_gpu、proxyless_mobile、proxyless_mobile14 也可用。
model = torch.hub.load('mit-han-lab/ProxylessNAS', target_platform, pretrained=True)

移动端设置	GPU 设置
	模型 Top-1 Top-5 延迟 MobilenetV2 72.0 91.0 6.1ms ShufflenetV2(1.5) 72.6 - 7.3ms ResNet-34 73.3 91.4 8.0ms MNasNet（我们的实现） 74.0 91.8 6.1ms ProxylessNAS（GPU） 75.1 92.5 5.1ms
ProxylessNAS（移动端）在各种延迟条件下均优于 MobileNetV2。	ProxylessNAS（GPU）比 MobileNetV2 准确率高 3.1%，速度却快了 20%。

专业化

过去人们习惯于将一个模型部署到所有平台上，但这并不理想。为了充分发挥效率，我们应该为每个平台专门设计架构。

我们提供了一个搜索过程的 可视化视频。更多结果请参阅我们的 论文。

使用与评估方法

• 使用

  # pytorch 
  from proxyless_nas import proxyless_cpu、proxyless_gpu、proxyless_mobile、proxyless_mobile_14、proxyless_cifar
  net = proxyless_cpu(pretrained=True) # 是的，我们提供了预训练模型！
  

  # tensorflow
  from proxyless_nas_tensorflow import proxyless_cpu、proxyless_gpu、proxyless_mobile、proxyless_mobile_14
  tf_net = proxyless_cpu(pretrained=True)
  

  如果上述脚本无法下载，请从 Google Drive 手动下载，并将其放置在 $HOME/.torch/proxyless_nas/ 目录下。

• 评估

  python eval.py --path 'Your path to imagent' --arch proxyless_cpu # pytorch ImageNet

  python eval.py -d cifar10 # pytorch cifar10

  python eval_tf.py --path 'Your path to imagent' --arch proxyless_cpu # tensorflow

文件结构

• search: 神经架构搜索的代码。
• training: 搜索到的模型的训练代码。
• proxyless_nas_tensorflow: 针对 TensorFlow 的预训练模型。
• proxyless_nas: 针对 PyTorch 的预训练模型。

使用 ProxylessNAS 的项目：

• ProxylessGaze: 基于 ProxylessNAS 的实时视线估计

自动化模型压缩与加速的相关工作：

Once for All：训练一个网络并针对高效部署进行专业化（ICLR'20，代码）

ProxylessNAS：在目标任务和硬件上直接进行神经架构搜索（ICLR’19）

AMC：用于移动设备上模型压缩与加速的 AutoML（ECCV’18）

HAQ：面向硬件的自动化量化（CVPR’19，口头报告） 防御性量化：当效率遇上鲁棒性（ICLR'19）

ProxylessNAS 快速上手指南

ProxylessNAS 是一种直接在目标任务和硬件上进行神经网络架构搜索（NAS）的技术，无需使用代理模型。它支持 PyTorch 和 TensorFlow，并提供针对 CPU、GPU 及移动端优化的预训练模型。

环境准备

• 系统要求：Linux 或 macOS（Windows 需通过 WSL 或 Docker 运行）。
• 前置依赖：
  • Python 3.6+
  • PyTorch 1.0+ 或 TensorFlow 1.x/2.x
  • Git

建议先安装基础深度学习框架：

pip install torch torchvision
# 或者
pip install tensorflow

安装步骤

方式一：通过 PyTorch Hub 直接使用（推荐）

无需克隆仓库，直接加载预训练模型，最适合快速推理和验证。

方式二：源码安装（用于评估或二次开发）

如果需要运行评估脚本或使用 TensorFlow 版本，请克隆仓库：

git clone https://github.com/mit-han-lab/ProxylessNAS.git
cd ProxylessNAS
pip install -r requirements.txt

注意：如果自动下载预训练模型失败，可手动从 Google Drive 下载模型文件，并放置于 $HOME/.torch/proxyless_nas/ 目录下。

基本使用

1. PyTorch 用户

极简加载（推荐）

只需两行代码即可加载针对不同平台优化的预训练模型：

import torch

# 可选平台：proxyless_cpu, proxyless_gpu, proxyless_mobile, proxyless_mobile14
target_platform = "proxyless_cpu" 
model = torch.hub.load('mit-han-lab/ProxylessNAS', target_platform, pretrained=True)

model.eval()
# 接下来即可进行推理

源码导入方式

如果你已克隆仓库：

from proxyless_nas import proxyless_cpu, proxyless_gpu, proxyless_mobile, proxyless_mobile_14

# 加载 CPU 优化模型
net = proxyless_cpu(pretrained=True)

2. TensorFlow 用户

from proxyless_nas_tensorflow import proxyless_cpu, proxyless_gpu, proxyless_mobile, proxyless_mobile_14

# 加载 CPU 优化模型
tf_net = proxyless_cpu(pretrained=True)

3. 模型评估

克隆仓库后，可使用提供的脚本在 ImageNet 或 CIFAR-10 上评估模型性能。

PyTorch 评估 ImageNet：

python eval.py --path 'Your path to imagent' --arch proxyless_cpu

PyTorch 评估 CIFAR-10：

python eval.py -d cifar10

TensorFlow 评估 ImageNet：

python eval_tf.py --path 'Your path to imagent' --arch proxyless_cpu

可用预训练模型列表

• proxyless_cpu: 针对通用 CPU 优化
• proxyless_gpu: 针对 GPU 优化（延迟更低，精度更高）
• proxyless_mobile: 针对移动端优化
• proxyless_mobile_14: 针对移动端进一步压缩的版本
• proxyless_cifar: 针对 CIFAR 数据集训练的模型