NAS-BENCH-201 已扩展为 NATS-Bench

由于我们的 NAS-BENCH-201 已扩展为 NATS-Bench，本仓库已被弃用且不再维护。请使用 NATS-Bench，它包含的架构信息是 NAS-BENCH-201 的 5 倍，API 速度也更快。

NAS-BENCH-201：扩展可复现神经网络架构搜索的范围

我们提出了一种与算法无关的 NAS 基准（NAS-Bench-201），其搜索空间固定，为几乎所有最新的 NAS 算法提供了一个统一的基准。我们的搜索空间设计灵感来源于最流行的基于单元的搜索算法，其中每个单元被表示为一个有向无环图。这里的每条边都与一个从预定义操作集中选择的操作相关联。为了适用于所有 NAS 算法，NAS-Bench-201 定义的搜索空间包含 4 个节点和 5 种相关的操作选项，总共生成 15,625 个神经网络单元候选。

在本 Markdown 文件中，我们提供了：

• 如何使用 NAS-Bench-201

对于以下两项，请使用 AutoDL-Projects：

• 重新生成 NAS-Bench-201 的说明
• 我们论文中评估的 10 种 NAS 算法

注意：请使用 PyTorch >= 1.2.0 和 Python >= 3.6.0。

您可以简单地输入 pip install nas-bench-201 来安装我们的 API。请参阅 此仓库 中 nas-bench-201 模块的源代码。

如果您有任何问题或遇到任何困难，请在 这里 提出，或直接给我发送邮件。

准备与下载

[已弃用] NAS-Bench-201 的 旧版 基准文件可以从 Google Drive 或 百度网盘（提取码：6u5d） 下载。

[推荐] NAS-Bench-201 的 最新版 基准文件（NAS-Bench-201-v1_1-096897.pth）可以从 Google Drive 下载。模型权重文件体积较大（431GB），上传需要一些时间，请耐心等待，感谢您的理解。

您可以将其移动到任何您希望的位置，并将路径传递给我们的 API 进行初始化。

• [2020.02.25] APIv1.0/FILEv1.0：NAS-Bench-201-v1_0-e61699.pth（2.2GB），其中 e61699 是该文件的后六位数字。它包含了除每次试验训练权重之外的所有信息。
• [2020.02.25] APIv1.0/FILEv1.0：每个架构的完整数据可以从 NAS-BENCH-201-4-v1.0-archive.tar 下载（约 226GB）。这个压缩文件夹包含 15625 个文件，内含训练好的权重。
• [2020.02.25] APIv1.0/FILEv1.0：每个基线 NAS 算法的 3 次运行检查点已在 Google Drive 上提供。
• [2020.03.09] APIv1.2/FILEv1.0：功能更强大、描述更丰富的稳健 API
• [2020.03.16] APIv1.3/FILEv1.1：NAS-Bench-201-v1_1-096897.pth（4.7GB），其中 096897 是该文件的后六位数字。相比 NAS-Bench-201-v1_0-e61699.pth，它包含了更多试验的信息，尤其是所有模型在所有数据集上训练了 12 个 epoch 的结果都可以获取。
• [2020.06.30] APIv2.0：使用抽象类（NASBenchMetaAPI）来管理 NAS-Bench-x0y 的 API。
• [2020.06.30] FILEv2.0：即将推出！

我们建议使用 NAS-Bench-201-v1_1-096897.pth

NAS-Bench-201 中使用的训练和评估数据可以从 Google Drive 或 百度网盘（提取码：4fg7） 下载。建议将这些数据放入 $TORCH_HOME 目录下（默认为 ~/.torch/）。如果您想自行生成 NAS-Bench-201 或类似的 NAS 数据集及训练模型，就需要这些数据。

如何使用 NAS-Bench-201

更多用法请参阅我们的测试代码 https://github.com/D-X-Y/AutoDL-Projects/blob/master/exps/NAS-Bench-201/test-nas-api.py。

1. 从文件创建 API 实例：

from nas_201_api import NASBench201API as API
api = API('$path_to_meta_nas_bench_file')
# 创建不显示详细日志的 API
api = API('NAS-Bench-201-v1_1-096897.pth', verbose=False)
# 基准文件的默认路径为 '{:}/{:}'.format(os.environ['TORCH_HOME'], 'NAS-Bench-201-v1_1-096897.pth')
api = API(None)

2. 显示架构数量 len(api) 和每个架构 api[i]：

num = len(api)
for i, arch_str in enumerate(api):
  print ('{:5d}/{:5d} : {:}'.format(i, len(api), arch_str))

3. 显示单个架构的所有试验结果：

# 显示特定架构的所有信息
api.show(1)
api.show(2)

# 显示某个架构的平均损失和准确率
info = api.query_meta_info_by_index(1)  # 这是一个 `ArchResults` 实例
res_metrics = info.get_metrics('cifar10', 'train') # 这是一个以指标名称为键的字典
cost_metrics = info.get_comput_costs('cifar100') # 这是一个以指标名称为键的字典，例如 FLOPs、参数量、延迟等

# 获取详细信息
results = api.query_by_index(1, 'cifar100') # 一个字典，包含第1个网络在cifar100上的所有试验结果，键为种子
print ('该架构在cifar100上有{:}个试验'.format(len(results), api[1]))
for seed, result in results.items():
  print ('延迟：{:}'.format(result.get_latency()))
  print ('训练信息：{:}'.format(result.get_train()))
  print ('验证信息：{:}'.format(result.get_eval('x-valid')))
  print ('测试信息：{:}'.format(result.get_eval('x-test')))
  # 指定某个epoch后的指标
  print ('训练信息[第10个epoch]：{:}'.format(result.get_train(10)))

4. 通过字符串查询架构的索引

index = api.query_index_by_arch('|nor_conv_3x3~0|+|nor_conv_3x3~0|avg_pool_3x3~1|+|skip_connect~0|nor_conv_3x3~1|skip_connect~2|')
api.show(index)

这个字符串 |nor_conv_3x3~0|+|nor_conv_3x3~0|avg_pool_3x3~1|+|skip_connect~0|nor_conv_3x3~1|skip_connect~2| 表示：

节点-0：输入张量
节点-1：卷积-3x3（节点-0）
节点-2：卷积-3x3（节点-0） + 平均池化-3x3（节点-1）
节点-3：跳跃连接（节点-0） + 卷积-3x3（节点-1） + 跳跃连接（节点-2）

5. 从api中创建网络：

config = api.get_net_config(123, 'cifar10') # 获取CIFAR-10数据集上第123个架构的网络配置
from models import get_cell_based_tiny_net # 此模块位于AutoDL-Projects/lib/models
network = get_cell_based_tiny_net(config) # 根据配置创建网络
print(network) # 打印该架构的结构

如果想要加载该网络的训练权重，需要使用 api.get_net_param(123, ...) 获取权重，然后将其加载到网络中。

6. api.get_more_info(...) 可以返回训练、验证和测试集上的损失/准确率/时间等信息，非常有用。更多细节请查看 get_more_info 函数中的注释。

7. 其他用法请参阅 lib/nas_201_api/api.py。我们在相应函数的注释中提供了一些使用说明。如果您需要的功能未被提供，请随时提交问题进行讨论，我将很乐意解答关于NAS-Bench-201的相关问题。

详细说明

在 nas_201_api 中，我们定义了三个类：NASBench201API、ArchResults、ResultsCount。

ResultsCount 维护单个试验的所有信息。可以通过以下代码实例化 ResultsCount 并获取信息（000157-FULL.pth 保存了第157个架构所有试验的信息）：

from nas_201_api import ResultsCount
xdata  = torch.load('000157-FULL.pth')
odata  = xdata['full']['all_results'][('cifar10-valid', 777)]
result = ResultsCount.create_from_state_dict( odata )
print(result) # 打印结果
print(result.get_train())   # 打印最终的训练损失/准确率/[可选：每个训练 epoch 的耗时]
print(result.get_train(11)) # 打印第11个 epoch 的训练信息
print(result.get_eval('x-valid'))     # 打印验证集上的最终评估信息
print(result.get_eval('x-valid', 11)) # 打印第11个 epoch 的验证集信息
print(result.get_latency())           # 打印评估延迟 [以批次为单位]
result.get_net_param()                # 该试验的训练参数
arch_config = result.get_config(CellStructure.str2structure) # 使用参数创建网络
net_config  = dict2config(arch_config, None)
network    = get_cell_based_tiny_net(net_config)
network.load_state_dict(result.get_net_param())

ArchResults 维护一个架构所有试验的信息。请参阅以下用法：

from nas_201_api import ArchResults
xdata   = torch.load('000157-FULL.pth')
archRes = ArchResults.create_from_state_dict(xdata['less']) # 加载使用12个epoch训练的试验
archRes = ArchResults.create_from_state_dict(xdata['full']) # 加载使用200个epoch训练的试验

print(archRes.arch_idx_str())      # 打印该架构的索引
print(archRes.get_dataset_names()) # 打印支持的训练数据
print(archRes.get_compute_costs('cifar10-valid')) # 打印在cifar10-valid上训练时的所有计算信息
print(archRes.get_metrics('cifar10-valid', 'x-valid', None, False)) # 打印所有试验的平均损失/准确率/时间
print(archRes.get_metrics('cifar10-valid', 'x-valid', None,  True)) # 打印随机选择的一个试验的损失/准确率/时间

NASBench201API 是最顶层的API。请参阅以下用法：

from nas_201_api import NASBench201API as API
api = API('NAS-Bench-201-v1_1-096897.pth') # 这将加载NAS-Bench-201的所有信息，但不包括训练权重
api = API('{:}/{:}'.format(os.environ['TORCH_HOME'], 'NAS-Bench-201-v1_1-096897.pth')) # 与上一行相同，但我通常会将NAS-Bench-201-v1_1-096897.pth保存在~/.torch/目录下。
api.show(-1)  # 显示所有架构的信息
api.reload('{:}/{:}'.format(os.environ['TORCH_HOME'], 'NAS-BENCH-201-4-v1.0-archive'), 3) # 此代码将重新加载第3个架构的信息，并附带训练权重

weights = api.get_net_param(3, 'cifar10', None) # 获取第3个架构在cifar10上所有试验的权重。它将返回一个字典，其中键为种子，值为训练权重。

获取训练和评估信息（请参阅此处的注释 [https://github.com/D-X-Y/AutoDL-Projects/blob/master/lib/nas_201_api/api_201.py#L142]）：

api.get_more_info(112, 'cifar10', None, hp='200', is_random=True)
# 查询第112个架构最后一次训练的信息
# 使用200个epoch的超参数，并随机选择一个试验。
api.get_more_info(112, 'ImageNet16-120', None, hp='200', is_random=True)

引用

如果您发现NAS-Bench-201对您的研究有所帮助，请考虑引用它：

@inproceedings{dong2020nasbench201,
  title     = {NAS-Bench-201: 扩展可复现神经架构搜索的范围},
  author    = {Dong, Xuanyi 和 Yang, Yi},
  booktitle = {国际表征学习会议（ICLR）},
  url       = {https://openreview.net/forum?id=HJxyZkBKDr},
  year      = {2020}
}

NAS-Bench-201 快速上手指南

重要提示：NAS-Bench-201 项目已扩展并升级为 NATS-Bench。原仓库已不再维护。NATS-Bench 提供了多 5 倍的架构信息和更快的 API 速度。强烈建议新用户使用 NATS-Bench，以下指南仅针对仍需使用 NAS-Bench-201 的场景。

环境准备

在开始之前，请确保您的开发环境满足以下最低要求：

• Python: >= 3.6.0
• PyTorch: >= 1.2.0
• 操作系统: Linux / macOS / Windows (推荐 Linux)

安装步骤

1. 安装 Python 包

直接使用 pip 安装官方 API 包：

pip install nas-bench-201

如需从源码安装或查看最新代码，可访问 GitHub 源码仓库。

2. 下载基准数据文件

API 需要加载预生成的基准数据文件才能运行。推荐使用最新版本 NAS-Bench-201-v1_1-096897.pth (约 4.7GB)，它包含了更多试验信息（包括所有数据集上训练 12 个 epoch 的模型）。

下载方式：

• Google Drive (推荐): 点击下载 NAS-Bench-201-v1_1-096897.pth
• 百度网盘 (国内加速): 点击下载 (提取码：6u5d, 注意此为旧版链接，若需最新版请尝试通过 Google Drive 下载或使用工具转换)
  • 注：原文未提供新版文件的直接百度网盘链接，如下载困难可使用第三方工具辅助下载 Google Drive 文件。

下载完成后，将文件放置在任意目录，或默认放置于 $TORCH_HOME (通常为 ~/.torch/) 目录下。

基本使用

以下是使用 NAS-Bench-201 API 的核心代码示例。

1. 初始化 API

加载本地数据文件创建 API 实例。如果文件位于默认路径 ~/.torch/NAS-Bench-201-v1_1-096897.pth，可直接传入 None。

from nas_201_api import NASBench201API as API

# 方式 A: 指定文件路径
api = API('/path/to/NAS-Bench-201-v1_1-096897.pth')

# 方式 B: 使用默认路径 (文件需位于 ~/.torch/)
# api = API(None)

# 方式 C: 关闭详细日志
# api = API('NAS-Bench-201-v1_1-096897.pth', verbose=False)

2. 浏览架构空间

查看搜索空间中架构的总数及具体结构字符串。

# 获取架构总数 (应为 15625)
num = len(api)
print(f"Total architectures: {num}")

# 打印前 5 个架构的结构字符串
for i, arch_str in enumerate(api):
    if i >= 5:
        break
    print('{:5d}/{:5d} : {:}'.format(i, len(api), arch_str))

3. 查询特定架构的性能

获取某个架构在特定数据集上的评估指标（如准确率、损失、计算成本等）。

# 查询索引为 1 的架构在 CIFAR-100 上的详细结果
# 返回一个字典，key 为随机种子 (seed)，value 为该次试验的结果对象
results = api.query_by_index(1, 'cifar100')

print('There are {:} trials for this architecture on cifar100'.format(len(results)))

for seed, result in results.items():
    # 获取延迟
    print('Latency : {:}'.format(result.get_latency()))
    # 获取训练集最终信息 (loss, accuracy)
    print('Train Info : {:}'.format(result.get_train()))
    # 获取验证集最终信息
    print('Valid Info : {:}'.format(result.get_eval('x-valid')))
    # 获取测试集最终信息
    print('Test  Info : {:}'.format(result.get_eval('x-test')))
    
    # 获取第 10 个 epoch 的训练信息
    print('Train Info [10-th epoch] : {:}'.format(result.get_train(10)))

4. 通过结构字符串反查索引

如果你有一个具体的架构结构字符串，可以查询其在 Benchmark 中的索引。

arch_str = '|nor_conv_3x3~0|+|nor_conv_3x3~0|avg_pool_3x3~1|+|skip_connect~0|nor_conv_3x3~1|skip_connect~2|'
index = api.query_index_by_arch(arch_str)

print(f"Architecture index: {index}")
api.show(index) # 显示该架构的详细信息

5. 构建网络模型

根据 API 中的配置实例化真实的 PyTorch 网络模型（需配合 AutoDL-Projects 中的模型定义）。

# 获取第 123 个架构在 CIFAR-10 上的网络配置
config = api.get_net_config(123, 'cifar10')

# 导入模型构建函数 (需先安装或克隆 AutoDL-Projects)
# from models import get_cell_based_tiny_net 

# 实例化网络
# network = get_cell_based_tiny_net(config)
# print(network)

# 若需加载训练好的权重：
# weights = api.get_net_param(123, 'cifar10', None)
# network.load_state_dict(weights[seed]) 

6. 快速获取综合信息

使用 get_more_info 一键获取指定架构在特定超参数设置下的损失、准确率和耗时等信息。

# 查询第 112 号架构，在 CIFAR-10 上，使用 200 epoch 超参数，随机选取一次试验的结果
info = api.get_more_info(112, 'cifar10', None, hp='200', is_random=True)
print(info)