ICLR 2020|训练15000个神经网络加速网络连接存储01秒内搜索

原标题:ICLR 2020|训练15000神经网络，加速网络连接存储，在0.1秒内搜索

作者丨董宣毅

编辑丨Camel

本文解读董宣毅博士发表的就业聚焦论文《NAS-BENCH-201: Extending the Scope of Reproducible Neural Architecture Search》。2020年ICLR悉尼科技大学候选人。本文提出的网络连接存储平台-201可以大大提高网络连接存储算法的可重复性，降低网络连接存储算法的计算要求(例如，搜索只需0.1秒即可完成)。

纸链接:http://arxiv.org/abs/2001.00326

NAS背景介绍

神经网络结构在深度学习领域的各种应用的性能中起着至关重要的作用。目前，网络结构的设计范式已经逐渐从专家手工设计转变为机器自动搜索。网络体系结构搜索的目的是研究如何在给定的搜索空间中自动发现高性能、高精度和高效率的网络结构。

在过去的几年里，越来越多的研究人员投身于网络连接存储的研究领域，提出了越来越多的网络连接存储方法，整个领域取得了许多突破。现在是时候回顾一下网络连接存储的好的方面和坏的方面了。网络连接存储不仅以其良好的性能而闻名，而且由于巨大的计算需求也吓退了许多研究人员。同时，目前各种网络连接存储算法的实验设置不同，这使得很难公平地衡量网络连接存储算法的真实质量。

为了进一步提升网络连接存储算法的可重复性，降低网络连接存储算法的计算要求，让大家关注网络连接存储算法的本质，启发后续网络连接存储算法，我们提出了网络连接存储平台-201。

NAS-Bench-201是什么？

NAS-Bench-201多次在基于不同随机数种子和不同超级参数的三个数据集(CIFS ar-10、CIFS-100、ImageNet-16-120)上训练了15000多个神经网络。它提供了重要信息，如每个训练时期后的训练和测试时间、训练集/验证集/测试集中模型的损失函数和精度、训练后的模型参数、模型大小、模型计算量等。NAS-Bench-201整理了这些有用的诊断信息，并提供了一个方便的应用编程接口来获取它们。执行“匹普安装nas-bench-201”可以一键安装NAS-Bench-201的应用编程接口，您将拥有15000个神经网络的所有信息！下图显示了15000种网络性能可视化。

利用NAS-Bench-201能干什么？

1，加速网络连接存储算法，并使用网络连接存储-工作台-201、规则进化算法/随机搜索/增强等网络连接存储算法完成搜索过程，在0.1秒内给出发现网络的性能。

2、实时跟踪网络连接存储算法的性能。对于一次性网络连接存储算法，网络连接存储平台-201可用于在任何时间节点观察当前预测的网络结构的性能，而无需重新训练该结构。

3，公平比较每种网络连接存储算法。不同的文章使用不同的超参数/数据增强/正则化等。当重新训练搜索到的网络结构时。现在，有了网络连接存储平台201的应用编程接口，每个研究者都可以比较搜索到的网络结构。

NAS-Bench-201还提供了什么？

我们在一个代码库中实现并打开了10种不同的网络连接存储算法。我们尽可能公平地比较和测试了这些算法的性能。结果如下:

REA/钢筋/随机/BOHB的500次运行结果

6一次性网络连接存储算法' 3次运行结果

使用NAS-Bench-201的注意事项

网络连接存储-工作台-201旨在为网络连接存储社区提供一个公平和计算友好的环境。由于使用我们的应用编程接口可以很容易地获得每个网络的性能，这种方便的条件可能使设计的新网络连接存储算法过于适合最佳结构。为此，我们制定了一些规则来防止过度拟合。

1，无法规范特定操作。例如，限制跳过连接操作的数量等。

2，利用我们的网络性能。培训策略影响网络结构的最终性能。我们建议NAS-Bench-201用户使用我们基准提供的每个网络的性能，即使他们可以通过使用其他培训策略获得更好的性能。为了确保公平。

3，发布几组搜索实验的结果。重复搜索可以更稳定地显示网络连接存储算法的效果。

NAS-Bench-201 API样例展示

使用网络连接存储平台-201数据非常容易。我们不需要自己组织数据。我们提供了一个方便的应用编程接口，可以方便地调用对网络连接存储算法有用的各种诊断信息。以下是目前的一些基本用法:

亲爱的朋友们，来试试吧！代码、数据、算法分析总有一个你需要的。

NAS-Bench-201的相关资源

10种NAS算法的PyTorch实现:http://github . com/D-X-Y/AudL-Projects国家科学院-长凳-201复现指南:http://地理信息系统平台-201的点安装:http://pypi . org/project/nas-bench-201/1.0/国家科学院-长凳-201文章链接:http://openreview.net/forum？id=HJxyZkBKDr

优秀网络连接存储文章列表:http://github.com/D-X-Y/Awesome-NAS

莫尔ICLR 2020信息将在“ICLR 2020传播集团”中进行。小组添加方法:添加“爱岩舍2”，注明“ICLR”并邀请加入小组。

ICLR 2020 论文解读系列：

03。满分论文|减轻负面多样性忽视的额外高斯先验目标