GraphCETF：一种经济高效且无需训练的加速方法，用于进化型图神经网络架构搜索

《Knowledge-Based Systems》：GraphCETF: Cost-Effective Training-Free Acceleration for Evolutionary Graph Neural Architecture Search

图神经网络架构搜索优化与训练-free评估方法研究，提出GraphCETF框架通过线性区域理论构建训练-free评分机制，结合代理模型辅助进化策略显著降低计算成本，在六个基准数据集上验证了其高效性与高性能优势。

　　

Bernard-Marie Onzo | Yu Xue | Ferrante Neri | Moncef Gabbouj | Khursheed Aurangzeb

南京信息科学技术大学计算机与软件学院，中国南京

摘要

神经架构搜索（NAS）已成为自动化神经网络设计并提升多种任务性能的关键方法。然而，将NAS应用于非欧几里得数据（如图）仍然具有挑战性，因为评估候选架构的计算成本较高。本文介绍了GraphCETF，这是一种新颖的进化图神经架构搜索（GNAS）框架，它结合了无需训练的评估策略和辅助方法来加速搜索过程，同时保持高性能。通过利用无需训练的评估技术，GraphCETF显著降低了评估神经架构的计算成本（以GPU小时和运行时间为单位），并在进化搜索过程中实现了更有效的探索。我们在六个基准图数据集上评估了GraphCETF，证明了其与传统方法相比能够以更低的计算开销发现高质量架构。实验结果表明，GraphCETF在显著降低搜索成本的同时实现了有竞争力的性能，使其成为高效的GNAS解决方案。

引言

深度学习的成功在很大程度上归功于神经架构的精心设计。近年来，神经架构搜索（NAS）作为一种强大的自动化设计手段出现，能够在多种任务中发现与手工制作的模型相媲美甚至超越它们的架构[1]、[2]、[3]、[4]。然而，这种成功主要发生在数据位于规则欧几里得网格图像、文本和序列的领域，其中卷积网络和循环网络占据主导地位。在这一熟悉的领域之外，NAS面临着一个重大挑战：如何将架构设计的自动化扩展到非欧几里得数据，尤其是图，因为图的不规则性违背了大多数现有NAS框架的假设[5]。

图无处不在。它们编码了社交互动、分子结构、交通网络、知识库以及无数其他系统[6]、[7]、[8]、[9]、[10]。图神经网络（GNN）已成为在这些结构上进行学习的主力，已在节点分类[11]、推荐和聚类[12]、交通预测[13]以及欺诈检测[14]等领域取得了显著成果。然而，GNN的表达能力也带来了代价：它们的架构比卷积网络或循环网络的架构更加多样化且标准化程度较低。因此，简单地将传统NAS应用于GNN往往效果不佳。这一差距催生了图神经架构搜索（GNAS）这一独特的研究领域[15]、[16]，其目标是自动发现GNN架构。

早期的GNAS方法模仿了欧几里得数据中的方法，但很快出现了分化。可以区分出三个主要的研究方向。可微搜索方法将基于梯度的优化应用于涵盖多个GNN候选者的超网络。AutoGraph[17]引入了跳跃连接和特征堆叠来减轻过度平滑现象，而SANE[18]和F2GNN[19]则专注于自动特征融合和多分支结构。PDNAS[20]采用了一种可微框架进行高效的宏观和微观架构搜索。MTGC3[21]通过解耦的超网络实现了多任务学习，AutoPGO[22]使用贝叶斯优化进行架构细化。AMDGAS[23]通过同配性注意力增强了泛化能力，GraphNAP++[24]利用Shapley引导的剪枝提高了可扩展性，AM-GNAS[25]采用自适应消息传递和特征融合加权以实现更健壮的多跳学习。CommGNAS[26]将自监督学习与无监督GNAS结合，使得该方法无需标记数据即可挖掘图的固有特征。最后，D2GNAS[27]将超网络GNN权重的优化与架构参数分离，提高了可微架构搜索的效率。强化学习将GNAS视为一个序列决策任务。早期的工作如[28]（GraphNAS）引入了策略梯度控制器来生成GNN架构，但计算成本较高。其分布式扩展GraphNAS++[29]提高了效率，但仍存在可扩展性限制。后来的方法如SNAG[30]、OMG-NAS[31]、Hgnas++[32]、Meta-GNAS[33]和EGNAS-NP[34]分别引入了简化的搜索空间、多模态学习、对抗性策略优化和蒙特卡洛树搜索集成，以增强稳定性和泛化能力。进化算法也被广泛用于GNAS，因为它们能够高效探索复杂的搜索空间。Auto-GNAS[35]通过并行计算和增强多样性机制提高了搜索效率，而CTFGNAS[36]使用辅助进化来降低训练成本。EGTAS[37]将这一理念扩展到图变换器，通过自动化配置和辅助指导实现进化。其他方法如FLA-GNAS[38]和Genetic-GNN[7]分别采用了适应性景观分析和超参数优化。KEGNAS-NSGAII[39]整合了先验知识转移以加快适应速度，CIPE[40]强调组件级的进化选择，FL-AGNNS[41]引入了联邦进化策略以提高分布式GNAS的性能。

尽管取得了这些进展，但一个顽固的瓶颈仍然存在：评估候选架构的成本。大多数方法仍然依赖至少部分地对每个候选者进行训练，或者构建大型、完全训练好的替代预测器。这既昂贵又缓慢，尤其是在大型搜索空间或大型数据集（如PubMed[42]）上更为繁琐。最近出现了无需训练的方法[43]、[44]，这些方法使用启发式或理论指标从初始状态估计架构的潜力，但它们与GNAS（尤其是基于EA的GNAS）的整合仍然有限。

本文朝这个方向迈出了一步。我们介绍了GraphCETF，这是一种新颖的成本效益高的无需训练的进化框架，用于GNAS。GraphCETF通过使用基于线性区域概念的指标在初始化时对架构进行评分，从而摆脱了传统评估方法，这种评分反映了网络的表达能力而无需训练。这些评分种子了一个辅助的进化算法，随着搜索的进行逐步细化其预测。通过这种方式，GraphCETF降低了评估候选架构的成本，加速了搜索并保持了有竞争力的性能。

我们的贡献有三个方面：

1.

我们分析了现有基于训练和无需训练的GNAS评估指标的局限性，并展示了它们如何影响搜索效率。

2.

我们提出了一种新的基于线性区域的无需训练的评分函数，用于在初始化时快速评估图神经网络架构。

3.

我们开发了一种辅助进化的搜索策略，利用这些评分来指导探索并高效识别高质量架构。

本文的其余部分组织如下。第2节回顾了GNAS的背景和相关工作。第3节详细介绍了我们提出的算法。第4节报告了在六个基准数据集上的实验结果，并将GraphCETF与最先进的GNAS技术进行了比较。第5节总结了本文并概述了未来的研究方向。

节选

背景和相关工作

本节介绍了文章中使用的符号，形式化了图神经架构搜索（GNAS）的基本概念，并回顾了无需训练的评估方法的文献。

提出的方法

本节详细介绍了提出的GraphCETF框架。第3.1节介绍了整体流程。第3.2节定义了搜索空间及其编码。第3.3节描述了辅助评估和进化过程。在本节中，标量用斜体字母表示（例如，n），向量用粗体小写字母表示（例如，x），矩阵/张量用粗体大写字母表示（例如，X, H）。每个符号都指定了其所属的领域以确保清晰性。

实验结果

本节报告了在多个基准数据集上对GraphCETF的实验评估，并将其性能与现有方法进行了比较。所有实验都在配备了Intel Core i9-9900K CPU（3.60GHz）、32GB RAM和NVIDIA GeForce RTX 2080 GPU的服务器上运行。

结论和未来工作

本文提出了GraphCETF，这是一种无需训练的图神经架构搜索进化框架，它将基于线性区域的评分与辅助进化的策略相结合。通过在进行评估时省去昂贵的训练过程，同时仍然利用替代模型，GraphCETF能够高效探索大型搜索空间并以显著降低的计算成本识别高质量架构。在六个基准数据集上，它取得了有竞争力的性能或

CRediT作者贡献声明

Bernard-Marie Onzo：撰写——原始草稿，可视化，软件，数据管理，概念化。Yu Xue：撰写——原始草稿，监督，项目管理，资金获取。Ferrante Neri：撰写——原始草稿，验证，监督，概念化。Moncef Gabbouj：监督。Khursheed Aurangzeb：项目管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本项工作得到了中国国家自然科学基金（项目编号62376127、61876089、61876185）、沙特阿拉伯利雅得国王沙特大学正在进行的研究资助计划（ORF-2026-947）以及江苏杰出教授计划的支持。