具有聚合感知能力的MLP：一种用于图消息传递的无监督方法

《Pattern Recognition》：Aggregation-aware MLP: An unsupervised approach for graph message-passing

　　谢玄婷|李炳恒|潘尔琳|王欣怡|何可仁|陈文宇|康钊
中国电子科技大学计算机科学与工程学院，成都，611731，四川，中国

**摘要**
图神经网络（GNNs）已成为学习图表示的主要方法，这主要归功于它们的消息传递机制。然而，GNNs通常采用固定的聚合函数（如均值、最大值或求和），而没有选择这些函数的原则性依据。这种僵化性，尤其是在异质性存在的情况下，往往导致性能不佳且依赖于具体问题。尽管一些尝试通过设计更复杂的聚合函数来解决这一问题，但这些方法往往严重依赖于标记数据，而在实际任务中标记数据往往很稀缺。在这项工作中，我们提出了一种新颖的无监督框架——“聚合感知多层感知器”（AMLP），它将范式从直接设计聚合函数转变为使MLP适应聚合。我们的轻量级方法包括两个关键步骤：首先，我们使用一种图重构方法来促进高阶分组效应；其次，我们使用单层网络来编码不同程度的异质性，从而提高模型的容量和适用性。与最新的基线方法（包括RGSL和DyFSS）在节点聚类和分类方面的广泛实验表明，AMLP具有优越的性能，突显了其在多种图学习场景中的潜力。

**引言**
图表示学习利用图神经网络（GNNs）来增强各种任务，并取得了有希望的结果[1]、[2]、[3]。GNNs采用消息传递方法，从相邻节点收集信息，通过减少类内方差和增加类间分离来更好地区分节点类别[4]。它们的强大性能通常归因于同质性，即连接的节点属于同一类别[5]。然而，这一假设并不总是成立，因为异质图（连接的节点属于不同类别）很常见。在这种情况下，使用固定聚合函数（如均值、最大值或求和）的GNNs通常会为不同节点创建过于相似的嵌入，从而降低它们区分类别的能力，导致性能不佳[6]。在没有原则性选择的情况下使用固定聚合函数限制了模型的灵活性，强调了需要更适应性的方法来有效处理多样化的图结构[7]。

已经提出了几种方法来通过调整聚合过程来提高GNN在异质图上的性能。这些方法可以分为三类：
(1) 标签引导的聚合：这些方法根据邻居的标签调整注意力权重，偏好具有相同标签的节点并减少不同标签节点的影响[8]、[9]。
(2) 大接受域聚合：扩大接受域使模型能够捕获更多同质邻域，并通过可学习参数平衡局部和全局信息[10]、[11]。
(3) 混合方法：这些方法结合了前两种方法，扩展非局部邻域并改善同质和异质环境中的消息传递[7]。

当前的基于聚合的GNNs严重依赖于标记数据，而收集这些数据可能既昂贵又耗时。在监督模型中，聚合过程由标签指导，以与学习到的节点特征对齐。然而，在无监督学习中，区分节点变得更加困难。此外，训练集和测试集之间的差距可能导致过拟合，即模型在训练期间表现良好但在新数据上表现不佳[12]、[13]。这些挑战表明需要无监督方法来提高GNN在不同数据集上的适应性和性能。

为了应对这些挑战，我们提出了一种新方法，将重点从直接学习聚合函数转变为使节点表示适应聚合。这使得模型能够动态适应图结构，充分发挥多层感知器（MLPs）的潜力。与其他使用MLPs进行维度转换的无监督图学习方法不同，我们的“聚合感知MLP”（AMLP）框架将聚合过程直接集成到MLPs中。我们还提出了一种聚合感知损失函数，并通过实证进行了评估。AMLP框架通过两个主要步骤统一了同质和异质图：图重构和聚合感知学习。我们的主要贡献总结如下：
- **新视角**：据我们所知，这是首次将重点从设计聚合机制转变为使学习到的表示适应聚合的工作。我们提出了MLP可以具有聚合感知性的观点。
- **新颖算法**：我们提出了一种新颖的无监督聚合学习框架，通过图重构和聚合感知损失函数统一了同质和异质图。理论分析支持其有效性。
- **最佳性能**：在12个同质和异质图数据集上的广泛实验表明，AMLP优于35个基线方法，包括最新的RGSL和DyFSS。

**相关工作**
异质图对GNNs来说是一个挑战，因为它们的结构破坏了传统的聚合机制。为了克服这一点，基于空间的GNNs开发了各种策略来在消息传递过程中调整边权重。例如，PFGC[14]引入了一种混合图滤波器，可以自适应地结合低频和高频信号以改善节点表示。GGCN[15]使用基于结构和特征的边校正来发送带符号的邻居特征。

**初步准备**
假设我们有一个无向图G={V,E,X}，其中N个节点的集合由V表示，连接节点i和j的边由eij∈E表示。具有d维的特征矩阵为X={X1,…,XN}?∈RN×d。图结构由邻接矩阵A∈RN×N表示。对角度矩阵表示为Di,i=∑jAi,j。归一化邻接矩阵为A?=(D+I)?12(A+I)(D+I)?12，其相关的图拉普拉斯矩阵为L=I?A。X?i=Xi‖Xi‖。Ai表示A的第i行，A?i=Ai‖

**方法论**
基于上述见解，我们提出了AMLP框架，如图3所示。它包括两个主要组成部分。首先，它重构图结构，理论上证明具有高阶分组效应；其次，它使MLP在训练过程中适应全局聚合。

**聚类实验**
我们使用真实世界的基准数据集实验评估了AMLP在聚类任务中的性能。聚类结果是通过在Y?上应用K-means获得的。

**节点分类实验**
为了进一步验证我们提出的AMLP的有效性，我们检查了其在节点分类任务上的性能。我们使用通过无监督方法学习到的节点表示Y?来训练线性分类器，并将我们的方法与基于聚合的方法和自监督方法进行比较。

**结论**
本文提出了一种关于聚合学习范式的新的视角，认为MLP可以适应聚合以提高神经网络的容量。这种适应性是通过实现聚合感知损失来实现的。理论分析和实证结果都证实了AMLP捕捉结构差异和生成更具区分性的节点表示的能力。这代表了无监督图学习领域的重大进展。

**作者贡献声明**
谢玄婷：撰写——审阅与编辑、撰写——原始草稿、可视化、软件、资源、方法论、数据策划、概念化。
李炳恒：撰写——审阅与编辑、可视化、方法论、数据策划、概念化。
潘尔琳：验证、方法论、概念化。
王欣怡：可视化、验证、软件、资源、概念化。
何可仁：撰写——审阅与编辑、软件。
陈文宇：监督、资金获取。
康钊：

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作得到了中国国家自然科学基金（项目编号62276053）的支持。