编辑推荐：
本文系统综述图注意力机制（GAT）的演进与分类，提出基于图类型、嵌入方式、注意力范围、头数和任务维度的五维分类框架，涵盖Pre-GAT、GAT-based GNNs和Post-GAT三个阶段，分析知识图谱、图池化等新兴应用，并探讨当前模型在异构图处理、全局依赖捕捉等领域的局限与未来方向，同步提供开源代码实现分类表格。
Hongdou He|Linwei Li|Guyu Zhao|Yifang Huang
燕山大学人工智能学院（软件学院），秦皇岛，河北066000，中国
摘要
近年来，图神经网络（GNNs）已成为一个突出的研究领域。自2005年左右首次出现以来，GNNs因其在处理非欧几里得数据方面的强大能力而受到广泛关注。最初基于信息传播模型，GNNs通过谱卷积网络、空间卷积网络发展，并且最近加入了各种包含注意力机制的扩展。这些进步逐渐提高了GNNs表示和处理复杂图结构的能力。然而，现有文献缺乏对图注意力机制的全面综述，特别是在注意力类型、应用领域以及当前模型的局限性方面。为了帮助研究人员全面理解这一领域，我们在图注意力网络（GAT）的基础上，将图注意力分为三个阶段：Pre-GAT、基于GAT的GNNs和Post-GAT，并提出了一种新的框架，从5个维度对代表性工作进行分类：图类型（同质/异质）、嵌入（节点/边/图）、注意力范围（局部/高阶）、注意力头（单头/多头）和下游任务。此外，我们还分析了一些在以往研究中较少讨论的创新图注意力应用，如知识图谱、图池化和图相似性。最后，我们探讨了图注意力当前面临的挑战，并提出了未来的研究方向。为了便于参考，我们提供了一个在线仓库，其中包含了本调查中的分类表以及原始论文的直接链接：
https://github.com/OnlyJerryLee/GraphAttentionReview引言
计算机科学和机器学习的早期工作主要处理欧几里得空间中的数据，这些数据的特征是规则的结构和一致的维度，例如图像、音频和文本。然而，随着研究的进展和应用领域的扩展，人们逐渐意识到许多现实世界的数据无法用简单的欧几里得空间来充分建模[17]。某些类型的非欧几里得数据具有图形结构，并有各种应用，例如化学分子结构[54]、交通网络[239]和入侵检测系统[235]，传统模型在这些数据上的处理效果不佳[196]。
与欧几里得数据不同，图更加多样和不规则，节点数量、节点连接模式和拓扑结构都存在变化。为了对这些非欧几里得数据进行建模，图神经网络（GNNs）被广泛使用。GNNs通过消息传递机制实现节点之间的信息交换，并能够捕捉局部和全局交互，从而在处理图数据方面表现出色[165]。同时，注意力机制在许多领域也取得了显著进展。Transformer引入的自注意力机制和多头注意力机制进一步提高了注意力的计算效率和并行处理能力。
最近，研究人员将注意力机制融入GNNs中，衍生出了多种模型。其中最著名的是图注意力网络（GAT）[173]，它是第一个正式提出图注意力概念的模型。在此基础上，基于GAT的众多模型取得了显著成果。
受Sun等人[167]的启发，我们将图注意力分为三个主要阶段：Pre-GAT、基于GAT的GNNs和Post-GAT。在图1中，我们展示了图注意力的发展过程，并列出了每个阶段的代表性模型。我们主要关注两个阶段：基于GAT的GNNs和Post-GAT。
在GAT出现之前，图注意力仍处于探索阶段。早期的图嵌入方法，如Node2Vec[58]和DeepWalk[143]，利用随机游走来学习节点表示，通过访问频率隐式地捕捉节点的重要性，而Node2Vec进一步调整了游走参数以平衡局部和全局结构。同时，早期的图卷积模型，如GCN[85]和ChebNet[41]，建立了基础的聚合策略，但没有显式的注意力机制。尽管存在这些问题，这些Pre-GAT模型为基于注意力的GNNs奠定了重要基础。
Velickovic等人在2017年首次引入了图注意力网络（GAT），标志着将注意力与GNNs结合的开始。通过为每条边计算可学习的注意力权重，GAT动态调整了邻近节点对中心节点表示的贡献，从而更准确地捕捉节点之间的非均匀依赖关系。在GAT的基础上，研究人员提出了一系列改进，统称为基于GAT的GNNs。例如，GATv2[16]通过重新设计注意力计算公式增强了注意力权重的动态表达能力。SuperGAT[83]结合了点积和缩放点积注意力来处理细粒度交互。FAGCN[14]通过自适应过滤改进了特征聚合。这些进步不仅有助于减少图中的噪声并提高信噪比[213]，而且也适用于传递性和归纳性任务[62]。然而，基于GAT的GNNs仍然存在局限性，例如它们依赖于局部注意力[192]、在异质图上的可扩展性有限[180]，以及忽略了边特征[52]。
在Post-GAT时代，研究人员进一步将自注意力机制融入基于GAT的GNNs[5]中。例如，一些工作通过引入全局注意力来反映异质图中的长距离依赖关系[69]。还有一些工作利用了在先前模型中较少应用的边特征[74]。这些创新扩展了注意力的应用范围，并提供了更复杂的策略。
随着GNNs的成熟，一些综述试图总结注意力机制的集成情况。然而，现有文献往往缺乏对注意力类型、应用领域和结构变化的全面综述。
以往的综述通常采用有限的视角。例如，Lee等人[92]提供了一个基础性的分类法，但他们的研究仅限于2018年之前的早期注意力机制，缺乏系统比较的统一标准。其他综述，如Guo[62]，主要关注特定架构，如“类似GAT”的模型在同质图上的应用，很大程度上忽略了异质图的复杂性和基于Transformer的最新进展。Sun等人[167]从宏观历史角度对模型进行了分类（GRANs、GATs和图Transformer）。虽然这种分类明确了演变过程，但并未充分阐述同一阶段内模型在关键设计维度（如图类型或注意力范围）上的差异。
为了清楚地展示当前文献的不足，我们在表1中提供了我们工作与一些现有综述的详细比较。
为了解决图注意力缺乏系统综述的问题，我们提供了相关模型的详细介绍和分类，以便研究人员快速了解该领域的最新发展。为了对基于GAT的GNNs和Post-GAT模型进行详细的多视角分析，我们提出了一种新的五维分类方案，灵感来自Guo[62]、Lee等人[92]和Niu等人[134]。图2展示了整体框架：
1)图类型：本综述考虑的两种主要图类别：同质图和异质图。
2)嵌入：GNNs产生的表示类型——节点嵌入、边嵌入或图嵌入。
3)注意力范围：参与计算注意力系数的节点。我们通常将它们分为局部注意力（直接邻居）和高阶注意力（多跳邻居）。
4)注意力头：单头注意力与多头注意力。
5)任务：下游应用（例如，节点分类、链接预测、图分类）。
在本文中，我们将根据GNNs通常处理的任务类型——节点级别、边级别和图级别[232]，详细阐述主要内容。
总结来说，本文的主要贡献如下：
1)我们提出了一个新颖的多维框架，系统地分类图注意力模型，包括GAT及其衍生模型。我们从多个角度提供了不同工作的全面总结和比较，更准确地描述了各种任务的设计原则和性能。
2)我们分析和总结了以往综述中较少探讨的几种图注意力应用场景，包括异质图注意力、知识图谱注意力、图池化等。此外，我们综合了之前的工作，并提出了多视角注意力机制，这是一种之前很少被系统研究或比较的机制。
3)我们识别并讨论了当前图注意力模型中的常见问题，并探讨了将注意力与GNNs结合的未来研究方向。我们还提供了一个在线仓库，其中包含了本调查中的分类表以及原始论文的直接链接。我们的综述有助于为研究人员提供创新见解，并促进该领域的持续发展。
本文的结构如下。第1节回顾了图注意力的发展，并介绍了一个新的多维分类框架。第2节定义了关键概念和符号。第3节组织和分类了我们的参考文献。4节讨论了节点级别的注意力，包括4.1局部注意力、4.1.1全邻居注意力、4.1.2选择性邻居注意力、4.1.3双曲注意力；4.2高阶注意力，包括4.2.1多跳注意力、4.2.2全局注意力；4.3多视角注意力，包括4.3.1基于结构的注意力：局部节点特征、4.3.2基于结构的注意力：全局节点特征、4.3.3基于结构的注意力：成对节点特征、4.3.4基于结构的注意力：全局图特征、4.3.5混合注意力；5节讨论了边级别的注意力，包括5.1同质图注意力、5.2异质图注意力、5.2.1消息传递模型、5.2.2元路径模型、5.3知识图谱注意力。第7节根据嵌入类型将图注意力分为三个层次：节点级别注意力、边级别注意力和图级别注意力，并讨论了每个类别中的代表性工作。第8节比较了不同图注意力方法的优缺点，并概述了未来的研究方向。最后，第8节总结了我们的工作。
部分摘录
初步介绍
本节介绍了各种定义和相应的通用符号。具体符号将在后续描述中根据需要引入。
研究方法
本节主要介绍了本文的研究方法，包括明确研究目标和分类参考文献。
节点级别注意力
本节将介绍节点级别注意力，主要包括局部注意力、高阶注意力和多视角注意力。局部注意力处理节点与其邻居之间的连接。高阶注意力则考虑更远的节点（具有更多跳数）以捕捉远程依赖关系。多视角注意力通过整合信息来增强节点表示的多样性和表达能力。
边级别注意力
本节将探讨边注意力，包括同质图注意力、异质图注意力和知识图谱注意力。
这种划分的依据在于早期实践中经常忽略边特征的情况。在某些情况下，边特征是必不可少的，例如化学分子[54]和社交网络[240]。在这些图中，与边类型相对简单的同质图相比，边类型
图级别注意力
本节将讨论图级别任务中注意力的应用。我们将相关工作分为两类：图池化和图相似性。图池化指的是将池化和GNNs结合；图相似性涉及计算特定节点或图对之间的相似性。
讨论与未来工作
在本节中，我们超越了描述性分类，从整体角度对图注意力机制进行了批判性讨论。此外，我们还反思了我们的分类框架的合理性，并讨论了它如何不仅作为回顾性组织工具，还可以作为未来模型设计和选择的实用指南。最后，我们概述了从这些讨论中自然产生的几个有前景的研究方向。
结论
我们提供了GNNs中注意力机制的系统性综述，特别关注GAT及其衍生模型。为了更好地分类相关工作，我们根据5个关键方面引入了一个新的多维分类框架：图类型、嵌入、注意力范围、注意力头和任务。与现有综述相比，我们提供了更详细的调查，并探讨了注意力机制在多个领域的应用。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所述的工作。
