使用超图神经网络对节点和属性进行共嵌入

CnaHGNN基于超图神经网络，通过构建节点-属性二分图和超图结构，融合网络拓扑与节点属性信息，迭代优化嵌入表示并引入动态调整策略，有效提升嵌入质量与鲁棒性，实验验证其优于现有方法。

　　

Jinsheng Li|Yisong Lu|Zhineng Wang|Pengfei Wei|Xueqin Zhang

信息科学与工程学院，华东科技大学，上海，200237，中国

摘要

有效的节点嵌入对于分析属性网络至关重要，而节点结构和属性的融合是提高嵌入质量的关键。然而，现有的属性网络嵌入方法往往存在嵌入性能不佳和效率低下的问题。为了解决这些挑战，我们提出了一种基于超图神经网络的新型网络节点和属性共嵌入方法，称为CnaHGNN。为了在不显著增加网络拓扑复杂性的情况下增强图模型的表达能力，该方法引入了二分图和超图结构。同时，二分图中的属性节点嵌入被聚合为超图网络中的节点嵌入。然后利用超图神经网络提取超图节点的高阶嵌入。通过无监督的链接预测任务迭代更新二分图中的节点和属性嵌入。此外，在训练过程中引入了重构函数和自适应动态调整策略来优化聚合过程，从而提高了嵌入的质量和鲁棒性。实验结果表明，CnaHGNN在各种实际应用中始终优于现有的最先进方法，突显了其有效性和泛化能力。

引言

近年来，网络数据的爆炸性增长[1]显著推动了图数据分析技术的快速发展。与传统网络不同，属性网络不仅可以保留节点之间的结构关系，还可以封装丰富的属性信息，提供了对现实世界复杂性的更全面表示。例如，在在线社交网络中，用户不仅相互互动，还维护着各种属性，如兴趣、人口统计特征和行为模式。研究带有属性信息的社交网络可以更准确地预测用户行为，并促进个性化推荐[2]。因此，考虑到现代属性网络的庞大规模和复杂性，图数据分析中的一个重要挑战是如何从这些网络中高效提取深度高阶的潜在信息。应对这一挑战已成为该领域的一个关键研究方向。

网络嵌入技术可以将复杂网络转换为低维空间，为预测、分类和聚类等下游任务提供有效的输入。传统的网络嵌入方法，如DeepWalk[3]和Node2Vec[4]等，主要依赖于随机游走策略来捕获结构信息。然而，这些方法往往忽略了节点属性信息，限制了生成全面嵌入的能力。随着属性网络的兴起，研究人员试图整合结构和属性信息以学习更丰富、更具语义的节点表示。这导致了基于随机游走的方法的发展，如SERACS[5]和Atre2vec[6]等。尽管这些模型使用修改后的随机游走机制来整合属性信息，但它们仍然难以有效捕捉节点属性和结构之间的复杂和非线性关系。近年来，基于深度学习的嵌入方法被广泛应用于网络节点表示学习，包括Lasagne[7]、GraphSSGAN[8]和VCLANC[9]等。这些方法可以有效建模网络拓扑和节点之间的结构关系。然而，它们通常只将节点属性作为初始输入，未能深入探索和整合节点与属性之间的关系。尽管图数据分析技术近年来发展迅速，但在面对现代属性网络的复杂性时，节点的表示学习仍然不足，这限制了下游预测和分类任务的性能。如何从带属性的网络中高效提取深度高阶的潜在信息已成为该领域的一个重要研究焦点。

为了解决这些挑战并增强属性网络中节点结构和属性信息的整合，我们提出了一种基于超图神经网络的共嵌入方法CnaHGNN。通过利用二分图和超图，CnaHGNN可以有效捕捉结构和属性的依赖性，提高节点嵌入的质量。

本文的主要贡献如下：

(1)

我们首先引入了两种互补的图结构来扩展传统图模型在节点嵌入任务中的表达能力。具体来说，我们根据原始网络的节点属性构建虚拟属性节点，并将它们连接到相应的原始节点，形成一个节点-属性二分图。此外，我们使用原始网络节点的邻居集构建超边，与原始节点一起形成一个超图。这些结构能够在不显著增加网络拓扑复杂性的情况下有效共嵌入节点和属性。

(2)

为了增强基于超图的节点嵌入，我们将二分图中的属性节点嵌入与节点嵌入聚合起来，构建全面的超图节点表示。这种方法加强了局部邻域和全局依赖信息。然后使用超图神经网络提取更高阶的嵌入，进一步细化节点表示。为了优化嵌入聚合过程，我们使用无监督的链接预测任务迭代更新节点和属性嵌入。在此过程中，引入了重构函数和自适应动态调整策略来减少重构损失，提高嵌入的鲁棒性，解决由于属性节点密度差异导致的连接不平衡问题。

(3)

我们在六个基准数据集上对CnaHGNN进行了链接预测和节点分类任务的评估。实验结果表明，CnaHGNN在网络嵌入效果方面始终优于现有的最先进基线方法，同时实现了更低的时间复杂度。

相关工作

相关工作

要进行属性网络的深入分析，第一步是学习有效的网络嵌入。现有的属性网络嵌入方法可以大致分为随机游走方法、深度学习方法和基于图变体的方法。

问题定义

考虑一个无向属性网络，可以正式定义为$$，其中$$表示网络中的$$节点集合，$$表示边集合，$$表示节点属性，$$是每个节点的属性向量的维度。

无向属性网络中节点之间的连通性由邻接矩阵$$表示，如果节点$$和$$之间存在边，则$$，否则为$$。节点$$的邻域集表示为$$，即$$。

技术框架

为了充分利用网络节点之间的结构关系及其属性信息以增强嵌入效果，我们提出了基于超图神经网络的节点-属性共嵌入框架CnaHGNN，如图1所示。

在这个框架中，采用了两种不同的图结构来扩展原始属性网络的表示能力。首先，将原始网络中每个节点的属性映射为虚拟属性节点，然后

数据集

我们的实验使用了六个带属性的网络数据集，详细如下：

Cora、Citeseer、Pubmed[28]、ACM[29]：这些是引文网络数据集，其中节点代表研究论文，边表示论文之间的引用关系，标签对应于论文的主题或发表会议的名称。每个节点的属性来自论文标题和摘要中的单词，通过词袋（BoW）模型进行处理。

Facebook[30]：这个

讨论

总之，上述实验表明，CnaHGNN通过有效地融合二分图和超图中的高阶信息，表现出色地生成了高质量的节点嵌入。与其他基线方法相比，CAN和HCAN都旨在通过VAE重建网络结构和节点属性。但是VAE依赖于高斯分布的假设，这可能无法充分捕捉网络结构和节点中固有的复杂分布

结论

提高属性丰富图中节点嵌入的质量对于链接预测和节点分类等任务至关重要。为了增强图嵌入的表达能力，本文提出了一种基于超图神经网络的新型共嵌入方法CnaHGNN。该方法根据原始拓扑构建了二分图和超图。它将节点属性虚拟化为新的独立节点，并通过

CRediT作者贡献声明

Jinsheng Li：撰写——原始草稿。Yisong Lu：验证。Zhineng Wang：可视化。Pengfei Wei：调查。Xueqin Zhang：撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家哲学与社会科学基金重大项目（项目编号：23&ZD142）的支持。

Xueqin Zhang：2007年在中国华东科技大学（ECUST）获得检测技术和自动化设备博士学位。2006年，她是威斯康星大学麦迪逊分校的访问学者。自1998年以来，她一直在ECUST的电气与通信工程系工作，目前是该系的教授。她的研究兴趣包括信息安全和模式分类。