β-DARTS++：一种用于代理鲁棒可微分架构搜索的双层正则化方法

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：β -DARTS++: Bi-Level Regularization for Proxy-Robust Differentiable Architecture Search

针对DARTS存在的搜索稳定性不足、架构泛化能力差和代理鲁棒性弱问题，提出Beta-Decay正则化约束参数方差与幅度，结合新引入的淹没正则化优化权重，形成Bi-level正则化方法，实验表明该方法显著提升搜索稳定性、架构泛化性和代理鲁棒性。

　　

摘要：

近年来，神经架构搜索（NAS）因其能够自动设计神经网络而受到了越来越多的关注。其中，差分NAS方法（如DARTS）因搜索效率较高而备受青睐。然而，这些方法仍存在三个主要问题：由于性能崩溃导致的稳定性较弱、搜索到的架构泛化能力较差，以及对不同类型代理（即计算量减少的搜索配置）的鲁棒性不足。为了解决搜索稳定性和架构泛化问题，提出了一种简单但有效的正则化方法——Beta-Decay，用于规范基于DARTS的NAS搜索过程（称为-DARTS）。具体来说，Beta-Decay正则化可以限制激活架构参数的值和方差过大，从而确保架构参数之间的公平竞争，并使超网对输入对操作集的影响不那么敏感。本文深入分析了其工作原理及效果，并通过多种搜索空间和数据集的实验验证了Beta-Decay正则化有助于稳定搜索过程并提高搜索到的网络在不同数据集上的迁移能力。为了解决代理鲁棒性问题，我们首先在广泛的代理数据、代理通道、代理层和代理周期下对可微分NAS方法进行了基准测试，因为之前尚未探索过NAS在不同类型代理下的鲁棒性。我们发现，在几乎所有代理设置中，-DARTS始终表现出最佳性能。随后，我们引入了一种新的洪水正则化方法（称为双层正则化）来优化-DARTS的权重优化，并通过实验和理论验证了其有效性...

显示更多

引言

神经架构搜索（NAS）因其能够自动化架构设计过程而备受关注。传统的强化学习[1]、[2]和进化算法[3]方法通常会带来巨大的计算开销，这限制了它们的实际应用[4]。为了降低搜索成本，人们提出了多种方法，包括性能估计[5]、网络形态学[6]和一次性架构搜索[7]、[8]、[9]、[10]、[11]。特别是，一次性方法采用了权重共享技术，只需训练一次覆盖所有候选子网络的超网。基于这种权重共享策略，可微分架构搜索[11]（即DARTS，如图1所示）通过交替优化超网权重和架构参数来放宽离散操作选择问题，从而进一步提高搜索效率。