CTRL：基于时间异构信息网络的连续时间表示学习

《Knowledge-Based Systems》：CTRL: Continuous-Time Representation Learning on Temporal Heterogeneous Information Network

时空异构网络表示学习；注意力机制；Hawkes过程；动态中心性；高阶结构演化

　　

李成林|谢远珍|于晨云|赵俊峰|夏宇|孔蓓蓓|臧莉|牛迪

中国广东省深圳市中山大学深圳校区

摘要

在异构图上进行的时间表示学习对于在不断演变的异构信息网络（HINs）上进行的可扩展深度学习至关重要。然而，大多数现有方法缺乏归纳能力，导致它们在处理新节点或边时效果不佳。此外，以往的时间图嵌入方法通常通过时间链接预测进行训练以模拟链接的形成，忽略了高阶拓扑结构的演变。为了解决这些限制，我们提出了CTRL，这是一种专为时间HINs设计的新型连续时间表示学习模型。该模型将三个关键组件整合到一个GNN层中，以保留异构节点特征和时间结构：(i) 一种异构注意力机制，用于测量节点之间的语义相关性；(ii) 一种基于边的Hawkes过程，用于捕捉异构节点之间的时间影响；以及(iii) 动态中心性，用于反映每个节点的动态重要性。此外，我们引入了一种新的训练策略，使用未来事件预测（以子图的形式）来捕捉高阶网络结构的演变。在三个基准数据集上的广泛实验表明，我们的CTRL模型显著优于各种最先进的方法。我们还通过消融研究和可视化分析验证了我们的设计的有效性。我们的代码和数据集将在Github上发布：https://github.com/ycy89/CTRL.git

引言

由于图结构数据在现实世界场景中的普遍性，如图引文网络、交通网络、社交网络和推荐系统等，图表示学习变得越来越流行。这些现实世界的图通常表现出异构性和随时间连续演变的复杂动态。例如，一个引文网络可能包括标记为“作者”和“论文”的节点，其中作者节点可以在不同时间点链接到多个论文节点。尽管在研究异构信息网络（HINs）和时间网络方面付出了大量努力，但大多数研究都集中在静态HINs [1] 或时间同质网络 [3] [4] 上。

为了更深入地理解网络演变并确保下游任务的性能，越来越多的关注被投入到同时解决时间HINs中固有的动态性和异构性上。例如，THINE [5] 和 HPGE [6] 利用注意力机制和Hawkes过程来改进时间表示学习。然而，这些方法生成的是适用于所有时间点的通用节点嵌入。也就是说，每个节点只被分配一个嵌入，可以应用于所有时间戳 [7]，因此无法提供任何特定时间的动态节点嵌入。此外，它们都是传递模型，缺乏归纳能力，无法有效扩展到新节点。因此，文献中仍然存在一个研究空白，即开发能够生成连续时间中变化节点嵌入的深度归纳模型。为了解决这个问题，我们面临以下两个关键挑战。

CH1. 如何有效地模拟时间图中异构节点之间的动态交互？ 考虑到相邻节点的重要性随时间衰减，最近的工作如TREND [8] 整合了单个Hawkes过程来改进动态图表示学习中的时间演变建模。然而，TREND 是为同质图设计的，无法处理HINs中的节点异构性。尽管一些方法 [5] [6] 使用基于节点的Hawkes过程来模拟异构节点之间的激发效应，但它们缺乏对新节点的归纳能力，忽略了相邻节点的重要性变化，也没有考虑异构节点之间的边异质性。因此，迫切需要新的方法来实现动态图上的归纳时间HIN嵌入。

CH2. 如何有效地捕捉时间HINs中网络结构的演变？ 大多数现有工作将时间网络的演变建模为链接形成过程，其中每个时间边被视为基本的演变单元。因此，它们经常采用时间链接预测任务进行模型训练，如TGAT [3]、CAW [4]、TREND [8]、WinGNN [9] 和 DyGKT [10] 所示。然而，现实世界时间HINs的演变通常涉及由复杂的高阶子图结构表征的事件的形成。例如，在引文网络中，基本的演变单元应该是“发表论文”事件，该事件包括论文的作者、发表场所和被引用的论文，所有这些边同时形成。因此，为了更好地理解时间HINs的演变，捕捉具有高阶局部结构的此类子图事件的形成过程至关重要。

在本文中，我们专注于开发归纳模型，以共同解决时间HINs的动态性和异构性问题。为了克服现有方法的局限性，我们提出了CTRL，这是一种新型的连续时间表示学习方法，用于捕捉异构节点之间的时间影响和时间HINs中的高阶结构演变。为了解决CH1，CTRL模型将时间HINs的时间和动态结构信息整合到GNN架构中。在CTRL层的聚合过程中，我们考虑了三个关键因素来量化相邻节点的重要性：(i) 节点之间的语义相关性，通过注意力分数来衡量；(ii) 目标节点和相邻节点之间的时间影响，用于模拟时间衰减效应；以及(iii) 动态中心性，用于捕捉节点随时间的重要性。具体来说，我们提出了一种基于边的Hawkes过程，其中构建了一个神经网络来提取特定边的衰减率，以捕捉异构节点之间的时间影响。然后利用动态节点度来加权邻居的重要性，从而将动态中心性纳入聚合过程。此外，在消息传递过程中，我们使用依赖于节点类型和边类型的模块来转换来自异构时间邻居的消息，从而有效处理图的异质性。为了解决CH2，我们通过时间事件预测来训练CTRL，以捕捉时间HINs中高阶结构的演变。具体来说，设计了两个MLP子模块来预测事件发生概率和事件内所有边的概率，从而保留高阶和一阶局部结构的动态性。通过最小化时间事件及其边的预测损失，CTRL有效地捕捉了时间HINs中高阶局部结构的演变。我们的主要贡献如下：

• •
  我们提出了一种针对时间异构信息网络的新型归纳表示学习方法。该方法结合了语义相关性、时间影响和节点的动态中心性来量化相邻节点的重要性，从而在连续时间内生成精细的节点嵌入。
• •
  为了捕捉时间HINs中高阶局部结构的演变，我们首先识别时间HIN的基本事件，并将每个事件表示为一个子图。之后，我们提出通过联合最小化时间事件及其边的预测损失来训练CTRL模型。
• •
  我们在三个真实世界数据集上进行了广泛的实验，以证明我们CTRL方法的优越性。与最先进的基线方法在归纳时间链接预测任务上的最佳性能相比，CTRL在四个评估指标上平均提高了7.6%。此外，消融研究和可视化分析也证实了CTRL在改善节点表示分布方面的有效性。

相关工作

相关工作

图嵌入学习技术旨在将节点表示在低维空间中，同时保留它们的语义特征和图的拓扑结构 [11]，[12]。传统方法，如DeepWalk [13]、LINE [14]、GCN [15] 和 GAT [16]，是为静态同质网络设计的，忽略了现实世界图中的时间演变。

后续研究扩展到了两个更实际的场景：异构信息网络（HINs）和时间网络。

初步知识

在本节中，我们回顾了时间HINs、图神经网络和Hawkes过程的基础概念。

定义1 时间HIN

时间HIN被定义为一个图 $G=(V,E,T,?,\phi )$ $V$ $E$ $T$ $?:V?A$ $\phi :E?R$ $A$ $\left|A\right|+\left|R\right|2$

定义2 连续时间时间HIN嵌入

给定一个时间HIN $G$

连续时间表示的目标

方法论

在本节中，我们介绍了为时间异构信息网络（HINs）提出的CTRL模型。首先，我们详细介绍了捕捉节点特征和时间结构时间演变的关键设计。随后，我们介绍了对优化模型至关重要的未来事件预测任务。

实验

我们进行了广泛的实验，并将我们的方法与最先进的方法进行了比较，以验证所提出的CTRL模型的有效性。

结论

在本文中，我们提出了CTRL，这是一种专为时间异构信息网络的连续时间表示学习设计的模型。在CTRL层的消息传递阶段，我们使用依赖于节点类型和边类型的转换模块来处理图的异质性。此外，在聚合过程中，我们考虑了语义相关性、时间影响和节点的动态中心性来量化相邻节点的重要性。

CRediT作者贡献声明

李成林：撰写——原始草案、软件、方法论、调查、形式分析、数据管理。谢远珍：验证、软件、形式分析、数据管理。于晨云：撰写——审稿与编辑、监督、方法论、资金获取、概念化。赵俊峰：可视化、验证、软件、数据管理。夏宇：验证、软件、形式分析、数据管理。孔蓓蓓：监督、资源、项目管理。臧莉：资源。牛迪：

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

致谢

这项研究得到了深圳市科学技术计划（授权号202206193000001、20220817180954005）的支持。