在神经架构搜索中，良好的性能评估策略就足以满足你的需求

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Good Performance Estimation Strategies are All You Need in Neural Architecture Search

神经架构搜索的性能评估方法存在优化空间，Kendall's τ并非最优准则。本文提出Minimum Keeping Ratio（MKR）新标准，通过大量实验验证其有效性，并设计基于随机采样的简单NAS方法，在多个基准测试中超越现有最优架构，代码开源。

　　

摘要：

神经架构搜索（NAS）的最新进展主要归功于性能估计（Performance Estimation, PE）技术，这是一种有效评估神经网络架构的方法。同时，Kendall的被广泛认为是评估PE策略的权威标准。然而我们认为，Kendall的并非最佳评估指标。通过大量实验和理论分析，我们揭示了Kendall指标存在的问题，并提出了一种新的评估标准——最小保留率（Minimum Keeping Ratio, MKR），该标准与NAS的最终性能密切相关。这一标准使我们能够从统一的角度比较不同的性能估计方法，并通过有效的消融实验验证各种PE策略的共性和关键差异。基于MKR的发现，我们通过结合不同的性能估计策略和随机采样方法，开发出一种简单的NAS算法。该方法在不同挑战性基准测试中表现出极高的效率和效果。特别是在NASbenchMacro、NASbench201和NASbench301测试中，我们的随机采样NAS算法成功找到了最优架构。此外，该算法还适用于不同的搜索空间（如MobileNet）和任务（如语义分割），在ADE20K数据集上，使用不到600 MFLOPs的计算资源，其准确率（mIoU）超过了之前的最佳架构。相关代码可访问：https://anonymous.4open.science/r/Anonymization11264。

引言

神经架构搜索（NAS）旨在自动设计适用于不同应用场景的深度神经网络，这是一项具有挑战性的任务，并已在多种计算机视觉任务中达到领先水平，包括图像分类[43]、[60]、[62]、[72]、[75]、[78]、[82]、[85]、对象检测[13]、[64]以及分割[10]、[33]、[45]等。根据Thomas等人的总结[22]，NAS算法可以分为三个部分：搜索空间、搜索算法和性能估计（PE）策略。搜索空间定义了搜索的范围，搜索算法决定了如何探索这个空间，而PE策略则用于评估该空间内各种架构的性能。