编辑推荐：
提出基于Shapley值的DARTS搜索空间优化方法，通过公平评估各操作类型贡献，减少冗余操作，降低计算开销，同时保持较高准确率。实验表明，在CIFAR-10和ImageNet上，该方法参数量减少42.3%，搜索成本降低56.7%，准确率分别达到95.45%和76.14%，优于现有NAS方法。
李海兵|叶耀良|丁宗业|卢全斌|朱文波|张忠波|董超
佛山大学机电工程与自动化学院，中国佛山528225
摘要
在资源受限的环境中，如嵌入式系统、物联网设备和水下设备，具有低计算开销的高效神经网络至关重要。可微架构搜索（DARTS）能够实现架构优化，但在大型搜索空间中难以准确反映各种操作的重要性。本文提出了一种基于Shapley值的方法来优化DARTS中的搜索空间，以公平地衡量每种操作类型在架构搜索中的贡献。通过将操作类型与其对应的连接节点集成，该方法减少了不必要的操作并压缩了搜索空间，从而实现了轻量级网络并提高了效率。实验表明，在CIFAR-10数据集上，该方法仅需要270万个参数和0.26个GPU天的搜索成本，测试准确率为95.45%；在ImageNet数据集上，该方法仅需要430万个参数和12.2个GPU天的搜索成本，准确率为76.14%。实验结果优于其他比较算法。该方法显著提高了架构搜索的效率，同时保持了较低的拓扑复杂性，并优于现有的NAS方法。
引言
人工智能（AI）和深度学习技术的快速发展导致智能系统在各个领域的广泛应用（Zhang和Li，2023）。然而，在资源受限的环境中执行深度学习模型（如嵌入式系统、物联网设备、边缘计算平台（Chen等人，2021）和水下操作设备（Preston等人，2018）仍然是一个重大挑战。传统的深度学习模型通常具有大规模的架构，需要大量的计算和内存资源。这些要求给在处理能力和存储容量有限的设备中部署此类模型带来了巨大障碍。为了解决这些挑战，轻量级神经网络应运而生，使得复杂任务能够在资源受限的设备上本地执行。轻量级模型减少了计算开销，提高了响应速度，并提升了任务效率。然而，轻量级网络的开发通常依赖于手动设计和调整，需要专家知识。此外，当前优化这些网络的方法主要集中在减少参数数量或计算量上，而没有充分解决多样化任务所需的架构复杂性（Ding等人，2023）。
在资源有限的应用中，计算复杂性直接决定了模型是否能够在实践中部署。例如，一个具有2亿次浮点运算（FLOPs）的卷积神经网络可能比一个具有5000万次FLOPs的神经网络具有稍高的准确率，但前者在嵌入式硬件上可能需要更多的能量和推理时间。在实时系统中——如水下视觉识别或设备上的异常检测——计算成本可能超过准确率的边际提升，因为延迟或热限制可能导致系统故障或不稳定。因此，降低计算复杂性不仅仅是效率问题，也是这些环境中操作可靠性和可行性的前提。
相比之下，神经架构搜索（NAS）通过探索广泛的设计可能性来自动化识别最佳网络架构的过程（Wistuba等人，2019）。NAS已成为深度学习中的关键研究焦点，采用了强化学习（Zoph，2016）、进化算法（Wang等人，2022）和贝叶斯优化（Liu等人，2018）等多种技术来寻找在特定硬件约束下最大化性能的架构。然而，现有的NAS方法往往计算成本较高，并且无法优化拓扑复杂性，限制了它们在现实世界资源受限环境中的实际应用。可微架构搜索（DARTS）作为一种NAS方法，通过利用梯度下降来优化架构参数，显著减少了搜索时间和计算开销，从而提供了一种更高效的方法。然而，DARTS存在局限性，特别是在准确识别对特定任务影响最大的操作类型方面，导致架构搜索过程效率低下。目前对DARTS的研究主要集中在搜索后的优化上，例如解决与网络深度、跳跃连接（Li等人，2021）和激活函数（Chu等人，2020）相关的问题，但很大程度上忽视了在搜索初期优化搜索空间本身的重要性。NAS需要在广泛的架构空间中进行搜索，搜索空间中包含的操作类型越多，空间就越庞大。通过优化搜索空间，可以消除不必要的操作类型，缩小搜索范围并提高效率。由于不同任务所需的操作类型各不相同，因此可以根据具体任务要求和数据特征定制搜索空间的优化，从而提高模型在特定任务上的性能，最终构建出更高效的网络架构。
本文提出了一种利用Shapley值来优化DARTS中搜索空间的新方法，该概念源于合作博弈论。与传统方法不同，这种方法使用Shapley值定量评估每种操作类型对神经架构性能的贡献，从而实现搜索空间的公平和系统化剪枝。此外，所提出的方法还包括对发现架构的拓扑复杂性评估，提供了对其结构效率和实际部署潜力的全面评估。通过明确建模和评估拓扑复杂性以及准确性，所提出的方法确保了结果架构在计算上达到平衡——在保持竞争力准确率的同时大幅降低推理成本。这与广泛采用的轻量级架构（如MobileNet）的设计理念一致，这些架构表明适度降低准确率（例如1-2%）可以带来计算成本的十倍降低，使得实时部署成为可能。通过关注最具影响力的操作并评估架构复杂性，这种方法提高了神经架构搜索的效率和鲁棒性，为针对资源受限环境的轻量级和高效神经网络设计铺平了道路。这种Shapley值和拓扑分析的创新结合代表了搜索空间优化方面的重大进步。
相关工作
神经架构搜索（NAS）已成为深度学习中的一个关键研究领域，旨在自动化设计针对特定任务和硬件约束的最优神经网络。已经开发了几种NAS技术来探索神经网络的广泛架构空间，包括强化学习、进化算法和贝叶斯优化（Zoph和Le，2016；Real等人，2019）。尽管这些方法在发现方面取得了显著成功
提出的方法
本节首先简要介绍可微架构搜索（DARTS），然后详细描述了Shapley值公式背后的原理，该公式能够公平计算每种操作类型对各种可能组合的边际贡献。我们发现，仅评估架构中操作类型的贡献可能会导致关注单个操作的局部最优解。此外，不仅仅是操作类型，还有其他因素也需要考虑
实验
本节进行了大量实验，使用该方法在DARTS搜索空间上评估CIFAR10数据集的图像分类。本章主要介绍了该实验的数据集和实现环境，然后通过DARTS方法进行了消融实验，以证明引入Shapley值来优化搜索空间的有效性。最后，它将准确率、模型复杂性和搜索成本与当前方法进行了比较
结论
本文提出了一种基于Shapley值的优化方法，用于可微架构搜索（DARTS），以创建适用于资源受限环境的轻量级神经网络。通过计算不同操作类型的贡献，该方法消除了不太重要的操作，减少了搜索空间并提高了效率。本研究通过两个不同的数据集验证了优化算法的有效性。首先，在CIFAR-10数据集上的实验
未引用的参考文献
(Howard等人，2019；He等人，2016)
CRediT作者贡献声明
李海兵：撰写——审稿与编辑、监督、资源提供、调查。叶耀良：撰写——审稿与编辑、原始草稿编写、可视化、调查、数据整理。丁宗业：资源提供。卢全斌：资源提供。朱文波：监督、形式分析。张忠波：调查。董超：调查。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了广东省基础与应用基础研究基金（项目编号2023B1515120064）的支持。
本工作还得到了河南省科学技术研究与发展联合基金（项目编号225200810013）的支持。
