一种零样本、树状结构的多目标进化神经架构搜索方法

《Engineering Applications of Artificial Intelligence》：A zero-shot tree-structured multi-objective evolutionary Neural Architecture Search

神经架构搜索树状进化框架融合树状编码保留梯度流、零成本多目标评估（训练性/泛化性/复杂度）及帕累托进化算法，在NAS-Bench-101/201上实现40倍搜索成本降低，ImageNet部署FLOPs预算0.45GPU天，并完成ECG和CT跨模态验证。

　　

戴岩|魏立新|胡子瑜|孙浩|徐千澳|张可欣|赵博雅

燕山大学电气工程学院，秦皇岛，河北066004，中国

摘要

神经架构搜索（NAS）能够实现高性能神经网络的自动化设计；然而，其实际应用常常受到计算成本高昂、单目标代理指标可靠性有限以及架构信息流建模不足的制约。为了解决这些问题，我们提出了基于树结构的进化神经架构搜索（TreeNAS）方法。该方法整合了三个组成部分：（1）一种树结构编码机制，在变异过程中保留主干信息路径；（2）一种零成本的多目标评估方法，同时评估可训练性、泛化能力和模型复杂性，从而缓解单目标代理指标带来的不稳定性；（3）一种基于帕累托优势的进化搜索算法，促进各目标之间多样化、平衡的架构生成。在标准神经架构搜索基准测试101（NAS-Bench-101）和神经架构搜索基准测试201（NAS-Bench-201）数据集上，TreeNAS取得了先进的准确率，并将搜索成本降低了$40\times$

引言

神经架构搜索（NAS）通过探索搜索空间来自动化设计神经网络，以发现具有高性能的架构，同时减少人工干预（Liu等人，2018年）。早期的多轮NAS方法可以对每个候选网络进行完整训练，从而获得准确的评估结果，但需要数百或数千小时的GPU计算时间（Mao等人，2019年；Chiang等人，2019年）。为了降低这一成本，人们提出了单轮NAS方法，这些方法训练一个共享的“超级网络”或学习代理性能预测器，以一次性评估许多架构的质量（Pham等人，2018年；Bender等人，2018年；White等人，2021b年）。尽管这些方法有效，但仍然需要大量的计算资源来训练超级网络或拟合代理模型。

最近，零轮NAS方法因其几乎消除了所有的搜索时间训练成本而受到关注。它们通过零成本代理在初始化时评估性能，从而实现了快速、无需训练的候选方案比较，并支持在紧张的计算预算下的大规模搜索。然而，每个代理仅捕捉模型质量的某个方面（例如表达能力、梯度敏感性或容量）。因此，它们在不同任务和搜索空间中可能会产生不一致的排名（Mellor等人，2021年；Li等人，2024a年）。甚至像参数数量或浮点运算（FLOPs）这样的简单复杂性指标也被证明比许多复杂的代理指标更能准确反映最终性能（Li等人，2024a年）。第2.2节提供了详细的分析和证据。

NAS中的一个核心设计选择是神经架构的编码方式。许多方法将架构编码视为一个中性细节，因此默认使用DAG邻接矩阵和操作列表。然而，证据表明，编码选择对搜索动态和评估结果有重要影响（Wei等人，2023年；Wen等人，2020年）。此外，最近的研究表明，即使是微小的编码变化也会显著影响NAS算法的最终性能（White等人，2021a年；Dong和Yang，2020年）。

研究空白。尽管在多轮和单轮NAS方面取得了进展，但评估成本仍然很高。零轮NAS虽然降低了成本，但仍面临三个持续存在的问题：

• G1.
  架构信息流建模不足。传统的零轮NAS通常采用“结构盲”的进化过程，可能会产生拓扑上有效但破坏梯度流的架构。零成本代理通常无法检测到这些结构不一致性，导致评估效率低下。
• G2.
  单目标代理指标的不可靠性。当使用单一代理指标评估架构时，它只反映了性能的一个方面（例如复杂性或梯度敏感性）。架构的有效性是多方面的，单一指标会忽略其他因素，导致不同任务和搜索空间之间的排名不稳定。
• G3.
  优化过程中目标权重的刚性。大多数现有方法在优化过程中固定目标权重，这导致目标之间的优先级不灵活。不同的代理捕捉到不同的信息，而固定权重忽略了这种多样性，从而导致权衡不平衡和架构多样性降低。

为了解决G1.–G3.问题，本研究重点关注三个目标：首先，在允许灵活探索的同时保持梯度流；其次，减少对单一代理的依赖，从而降低不同搜索空间和数据集之间的不稳定性；第三，在不使用固定权重的情况下实现自适应的目标平衡。

本研究将NAS构建为一个非凸优化问题。TreeNAS作为一个统一框架，包含三个组成部分：（1）微级别的结构编码，保留主干梯度路径的同时支持灵活探索；（2）高效评估策略，克服单一代理的局限性；（3）宏观层面的帕累托多目标优化，自适应地平衡目标，无需固定权重。图1提供了整体框架的概览。

• 树结构编码机制。通过变异后的细化过程保留主干梯度路径，防止结构盲编码中出现的破坏。
• 零成本多目标评估策略。通过一次前向-后向传递同时评估可训练性、泛化能力和模型复杂性，从而解决单一代理指标的不稳定性问题，并捕捉多方面的性能。
• 帕累托优势进化算法。通过非支配排序促进多样化和平衡的架构选择，替代固定权重并自适应地平衡目标。

本研究采用两阶段评估方法。第一阶段在NAS-Bench-101/201上与最先进基线进行准确性和效率的对比，并进行消融实验以确定各组件的贡献。第二阶段在实际的FLOPs预算下评估ImageNet上的部署情况，并测试1D心电图（ECG）和3D CT数据集上的跨模态泛化能力。本文的其余部分组织如下：第2节回顾了零成本代理方法并阐述了多目标设计的动机；第3节详细介绍了TreeNAS框架，包括多维代理评估、树结构编码和基于帕累托的优化；第4节报告了在NAS-Bench-101/201上的基准测试结果和消融实验；第5节评估了在ImageNet上的部署情况以及跨模态和数据集的泛化能力；第6节讨论了结果、局限性和未来方向；第7节为结论。

部分摘录

NAS编码机制

编码机制是NAS的“语言”，将架构结构转换为搜索算法可操作的表示形式。尽管编码是一个基础组成部分，但它长期以来一直被视为一个中性的实现细节，而非核心创新点。现有方法通常优先考虑搜索策略或评估指标，将编码视为结构信息的被动载体。

传统的编码方案大致可以分为三类

方法

本节介绍了TreeNAS，它将树结构编码与零成本多目标评估和帕累托优势进化相结合。

基准测试效果和组件分析

为了系统验证TreeNAS的有效性，采用了两阶段实验设计。第一阶段在NAS-Bench-101/201上与最先进基线进行对比，并进行消融实验以量化每个组件的贡献和必要性。第二阶段评估泛化能力和适用性，包括在实际FLOPs预算下的大规模ImageNet部署、对ECG2017和NoduleMNIST3D的跨模态适应以及跨数据集的迁移。

扩展场景和泛化评估

本节展示了TreeNAS的实际应用评估。在MobileNetV2框架下对TreeNAS进行了测试，并进行了跨模态泛化（ECG2017、NoduleMNIST3D）和跨数据集迁移的评估，以评估其可扩展性、鲁棒性和迁移能力。

结果解读

实验设计从基础验证逐步发展到实际泛化应用。首先通过标准NAS基准测试验证核心有效性，然后评估大规模部署和跨领域场景，以评估实际应用价值。总体而言，结果支持使用保持结构的编码方法与多目标零成本代理相结合。

在逐渐增加规模的基准测试中，TreeNAS的表现与最先进方法相当或超越了它们，同时将计算成本降低了1到2个数量级。

结论

本研究提出了TreeNAS，这是一种零轮神经架构搜索框架，它结合了树结构编码和多目标零成本代理。在NAS-Bench-101/201、受FLOPs限制的ImageNet以及跨模态数据集上的实验表明，TreeNAS能够在降低计算成本的同时接近或略微超越最先进方法。

CRediT作者贡献声明

戴岩：撰写 – 审稿与编辑，撰写 – 原始草稿，方法论研究。魏立新：项目管理，研究，资金获取。胡子瑜：撰写 – 审稿与编辑，监督，资金获取，形式化分析。孙浩：形式化分析，数据整理，概念化。徐千澳：验证，研究。张可欣：资源协调，数据整理。赵博雅：项目管理，研究。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本研究得到了河北省自然科学基金（F2024203089）、国家自然科学基金（编号62003296、62573375）、国家重点研发计划（2022YFB3705504）以及省级重点实验室绩效补贴项目（22567612H）的支持。