Fisher 负责区间与粒子群优化在神经架构搜索中的应用

《Scientific Reports》：Fisher duty interval and particle swarm optimization for neural architecture search

　　

摘要

自动构建深度神经网络（DNN）已成为人工智能研究的关键焦点，因为其性能在很大程度上取决于网络的架构和参数。针对特定任务仔细选择架构和参数可以显著提升网络的输出效果。本研究提出了一种智能高效的神经架构搜索（NAS）框架，该框架整合了粒子群优化（PSO）、费希尔职责区间（FDI）概念、迁移学习（TL）以及基于图的架构表示方法。鉴于DNN性能对架构设计的高度依赖性，缩小搜索范围并将其引导至有前景的区域对于提高模型效果至关重要。在初始阶段，使用费希尔信息矩阵（FIM）来计算目标任务与一组已解决任务之间的统计距离FDI，这为迁移学习提供了基础，从而能够从之前成功的架构中生成有针对性的初始粒子。随后，PSO执行多层次搜索，平衡全局和局部探索。在早期迭代中，候选架构会与基线架构进行比较；而在后期阶段，比较重点会动态转向全局最优粒子。架构被编码为具有基于单元模块的有向无环图（DAG），支持异构且灵活的设计，每个单元都可以具有独特的结构。此外，权重继承和基于FIM的性能评估减少了每次迭代时所需的完整训练时间，从而降低了计算成本。总体而言，该框架利用了先验知识，降低了搜索复杂性，并高效地探索了架构空间，发现了优于基线设计和随机搜索结果的模型。该方法的有效性已通过在知名数据集上的分类任务得到验证，并相应地报告了详细结果。