适用于图神经网络的自适应消息传递机制

《Pattern Recognition》：Adaptive message passing mechanism for graph neural networks

　　

王阳涛|史玉杰|张琦|刘林若|谢彦钊|唐茂斌|李晓翠

中国广州大学计算机科学与网络工程学院

摘要

现有的图神经网络（GNNs）中的消息传递机制存在两个严重问题。(i) 它无法保持每个中心节点与其邻居之间的特征平衡，从而无法捕获来自它们的关键信息。(ii) 它无法区分和提取高阶邻居的有效信息，导致在多轮邻居传播后节点特征混合，尤其是在异质图中。为了解决这些问题，我们提出了一种适用于同质和异质GNNs的自适应消息分配机制（简称AMPG），该机制可以自适应地传递来自1跳和高级邻居的有效信息。首先，我们设计了一个简单的注意力机制来捕获来自1跳邻居的有价值信息。接下来，我们调整了每个节点及其嵌入的层次结构，这一过程由门控机制控制，以捕获来自高级邻居的有价值信息。最后，我们设置了一个可学习的参数来有效平衡每个节点及其邻居之间的贡献，从而得到最终的节点表示。在8个真实世界图和2个大型图上的广泛实验验证了AMPG具有良好的可扩展性，并且对于同质和异质数据都能达到最佳性能。此外，门控向量和平衡参数的可视化结果验证了AMPG的有效性和可解释性，尤其是在具有非常深的GNN层的情况下，能够解决过度平滑问题。该项目的代码发布在我们的GitHub仓库中：https://github.com/AMPG123Graph/AMPG

引言

图神经网络（GNNs）[1], [2], [3]作为一种强大的范式，用于学习和推理图结构化数据。通过将节点映射到低维表示空间，GNNs取得了有希望的性能，并被广泛应用于各个领域，包括社交网络分析、生物信息学、图像识别、推荐系统等。为了捕获图中的拓扑结构，大多数现有的GNNs遵循消息传递机制[4]，该机制递归地聚合邻居节点的特征以生成中心节点的表示。然而，消息传递GNNs在异质图[5], [6]上的性能会显著下降，因为大多数邻居节点具有不同的标签或属性。此外，随着GNN层的增加，节点表示几乎变得无法区分，导致过度平滑问题，这使得从高级邻居捕获有效特征信息变得困难。

通常，每个节点的表示是通过首先聚合来自其邻居表示的消息（即聚合阶段），然后将聚合的消息与其自我表示（即组合阶段）结合来更新的。这种源自同质图的消息传递机制在异质环境下带来了两个严重挑战。(1) 1跳连接的节点与中心节点更可能不同，而相似的节点通常出现在较高的距离上。一种有效的方法[7]是扩大节点邻域大小，以包括更多相似的节点或发现潜在的邻居。然而，邻域大小应该设置多大始终是模糊的。此外，当GNN层加深时，来自多跳的消息往往会混合节点特征。(2) 同一中心节点的邻居节点之间存在显著差异，这意味着对所有邻居节点采用统一的聚合策略要么会丢失来自有益邻居的有效信息，要么会接收到来自不希望的邻居的无效甚至有害的信息。代表性的方法探索了中心节点与其每个邻居之间的相似性，以开发分配给不同邻居的独特权重。然而，它们只关注不同邻居的重要性程度，而忽略了中心节点与其邻居之间的贡献平衡，这导致无法为每个节点做出个性化决策，从而带来次优的性能。

与以前的方法不同，我们通过为同质和异质GNNs设计了一种自适应消息分配机制（简称AMPG）来解决上述挑战，该机制在整个聚合阶段和组合阶段用于图传播。AMPG首先整合来自1跳邻居的关键信息，然后通过门控机制自适应地捕获来自高级邻居的有价值信息，最后平衡每个中心节点与其邻居节点之间的贡献。具体来说，在聚合阶段，我们进行简单的图注意力操作 [8] 以确定不同邻居节点的重要性，从而传递来自1跳邻居的有效信息。需要注意的是，这种注意力操作对于正向消息传递至关重要，因为它可以从邻居节点中提取有价值的信息，以帮助获得准确的中心节点表示。之后，另一个重要问题是如何在组合阶段将聚合的消息整合到中心节点中。然而，大多数工作[7], [9]很少探索这一阶段，它们只是简单地将中心节点表示和聚合消息连接起来，这限制了在多轮聚合后选择性地吸收有用的高级信息的能力。最近的研究[10], [11]采用门控机制来对齐节点嵌入与多跳邻域的层次结构[12]，旨在减少传播顺序之间的有害混合。这种门控主要解决了信息应从何处进入的问题，通过在嵌入维度上分配保留和注入来实现。然而，门控对齐并不等同于确定中心节点与其同一层内邻居之间的整体贡献比率。单独的门控无法决定模型在当前层应依赖邻居消息分支的程度，因为它执行的是维度选择而不是全局融合强度控制。即使在通过门控过滤后，自我表示和聚合的邻居消息在可靠性和规模上仍可能有所不同，适当的融合强度可能因数据集和层而异，特别是在不同的同质性水平下，这需要一种自适应的平衡策略。为此，在组合阶段，我们（i）首先构建一个门控机制来对齐每个节点及其嵌入的层次结构，以捕获高级信息，（ii）然后平衡每个节点与其邻居之间的特征贡献，从而通过多轮邻居传播传递来自高级邻居的有效信息。

本文的主要贡献总结如下。

• •
  我们提出AMPG，以在整个聚合阶段和组合阶段自适应地传递来自1跳和高级邻居的有效信息。AMPG可以将邻居的关键信息整合到中心节点中，从而为同质和异质GNNs生成准确的节点表示。
• •
  我们在聚合阶段进行简单的图注意力操作，以捕获来自1跳邻居的有价值信息。此外，我们调整了每个节点及其嵌入的层次结构，这一过程由门控机制控制，以通过多轮邻居传播捕获来自高级邻居的有价值信息。特别是，我们设置了一个可学习的参数来有效平衡每个节点与其邻居之间的贡献，从而得到最终的节点表示。
• •
  我们在8个真实世界图和2个大型图（包括同质和异质数据集）上进行了广泛实验。实验结果验证了AMPG具有良好的可扩展性，并且可以实现可比或更好的最佳性能。此外，门控向量和平衡参数的可视化结果验证了AMPG的有效性和可解释性，尤其是在具有非常深的GNN层的情况下，能够解决过度平滑问题。

章节片段

图神经网络

图神经网络（GNNs）在挖掘图结构化数据方面表现出了强大的能力。通常，GNNs遵循消息传递机制[13]，其中每个节点的表示是通过聚合局部邻居表示来更新的，然后将其自我表示与聚合的消息结合起来。已经进行了各种研究工作来提高GNNs的性能。GCN [14]有效地简化了图上的卷积操作。GraphSAGE [15]引入了邻居

提出的方法

在本节中，我们首先在图1中展示了AMPG的总体架构，然后详细介绍了包括聚合和组合阶段在内的图传播过程。

实验

在本节中，我们评估了AMPG在（i）8个真实世界数据集（见表1）上的性能，包括5个异质图和3个同质图，以及（ii）2个大型数据集（见表2），包括ogbn-arxiv和arXiv-year。所有数据集的更多细节在参考文献[11], [17]中有详细说明。首先，在8个真实世界数据集上，我们将AMPG与（i）传统的知名方法进行了比较，包括MLP、GCN [14]、GAT [8]和GraphSAGE [15]，（ii）多跳方法包括JK-Net [9]和MixHop [16]

结论和未来工作

在本文中，我们提出了AMPG，用于为同质和异质图自适应地传递消息。简单的图注意力操作捕获了来自1跳邻居的有价值信息。此外，门控机制结合特征平衡参数从高级邻居提取有效信息。在8个真实世界数据集和2个大型数据集上的实验结果验证了AMPG的有效性、可解释性和可扩展性，实现了最佳性能

CRediT作者贡献声明

王阳涛：撰写——原始草稿，概念化，数据策划，调查，验证，可视化。史玉杰：撰写——原始草稿，可视化，概念化，数据策划，调查，验证。张琦：形式分析，概念化，撰写——审阅与编辑。刘林若：可视化，数据策划，概念化，验证，撰写——审阅与编辑。谢彦钊：概念化，撰写——审阅与编辑。唐茂斌：监督

利益冲突声明

作者声明他们没有已知的可能会影响本文所报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（编号62406082, 编号62506085, 编号62502156）、广东省基础与应用基础研究基金（编号2023A1515110650, 编号2023A1515110659）、广州市科技规划项目（编号2024A03J0013, 编号2025A04J4590）、广东省教育厅创新强校青年创新人才项目（编号2023KQNCX055）以及香江实验室项目的支持（编号24XJJCYJ01002）。