基于深度非负矩阵分解的多信息注意力融合方法在社区检测中的应用

《Neurocomputing》：Multi-information attention fusion based on deep nonnegative matrix factorization for community detection

　　刘焕|陈碧莲|曹朗才
厦门大学自动化系，中国厦门361005

**摘要**
社区检测旨在识别网络中紧密连接的模块，并在多个领域有着广泛的应用。深度非负矩阵分解（DNMF）作为社区检测的热点技术，通过扩展非负矩阵分解（NMF）的有效性，结合层次结构来建模复杂的特征，从而更准确地检测复杂的社区模式。然而，大多数现有的基于DNMF的方法都是为无属性网络设计的，通常只处理单一视图，这限制了它们从不同角度充分利用多样化和互补信息的能力。为了克服这一缺点，我们提出了一种新的社区检测方法，称为基于深度非负矩阵分解的多信息注意力融合社区检测方法（MIA-DNMF）。该方法基于邻接矩阵构建三个视图，并使用DNMF编码器进行降维处理。这些视图捕获了互补的结构信息，然后通过注意力机制将这些信息整合到统一的表示中。此外，还加入了对比学习和图正则化来增强嵌入的表达能力。在11个真实世界数据集上进行的广泛实验证明了所提方法的有效性，结果表明MIA-DNMF在性能上始终优于12种最先进的社区检测算法。

**引言**
自然界和社会中的许多复杂系统可以用复杂网络有效表示。例如，社会关系、生物学中的分子相互作用、城市交通系统以及信息传播过程都可以抽象为由节点和边组成的网络结构。随着计算技术和大数据分析的快速发展，复杂网络的研究已成为一个跨学科领域，整合了图论、统计物理学、数据科学和社会科学的理论和方法[1]。
这类复杂网络最显著的特点之一是存在社区结构[2]。社区检测的目标是揭示这些隐藏的模块结构，这对于理解网络的基本属性（如组织结构、功能性和韧性）至关重要。通过识别网络内的社区结构，我们可以更深入地了解系统如何协调和合作，从而提高其效率和稳定性。事实上，社区检测已广泛应用于各个领域，包括异常检测[3]、恐怖主义网络识别[4]和药物滥用社区分析[5]。
随着研究的深入，已经提出了多种方法来揭示复杂网络中的社区结构[6]、[7]、[16]。其中，基于非负矩阵分解（NMF）的方法由于其强大的降维能力和固有的解释性而成为研究重点。NMF将网络特征矩阵分解为两个低秩非负矩阵。其中，一个矩阵可以解释为社区成员矩阵，每个条目反映了节点与社区之间的关联程度，从而能够识别出潜在的社区结构。作为NMF的扩展，深度非负矩阵分解（DNMF）[9]继承了这些优点，并通过层次分解结构进一步增强了其表达能力，从而克服了浅层线性建模的局限性。同时，图对比学习（GCL）近年来也取得了显著进展[10]、[11]，提供了一种构建多重视图以补充信息的方法。然而，尽管有这些进展，DNMF与多视图信息的整合仍然相对较少被探索，尤其是在没有节点属性的网络上进行社区检测的背景下。受此启发，我们提出将DNMF的强大表示能力与多种结构视图捕获的多样语义结合起来，旨在开发出一个统一的多视图深度NMF框架，从而有效地利用互补的网络信息来提取社区结构。
基于上述讨论，本文提出了一种新的无属性社区检测方法，称为基于深度非负矩阵分解的多信息注意力融合（MIA-DNMF）。与在单一视图上执行DNMF的传统方法不同，所提出的方法从邻接矩阵构建两个额外的补充视图，并将它们输入基于DNMF的编码器进行降维处理。值得注意的是，这三个视图捕获了相互互补的结构信息。从这三个视图获得低维嵌入后，我们设计了一种基于注意力的融合机制将它们整合到统一的表示中。此外，在训练过程中还对融合嵌入施加了两个额外的约束：
1) 原始图约束：在原始嵌入和融合嵌入之间引入图对比学习，鼓励融合表示保留原始图的结构语义。
2) 图正则化约束：该约束有助于保持节点的局部几何结构。
这种设计使MIA-DNMF能够有效地捕获和整合多视图结构信息，从而提高社区检测的效果。

**本文的主要贡献如下：**
1) 我们提出了一种基于多视图的新社区检测方法，其中三个相互补充的视图完全从原始图构建，而无需引入任何额外信息，然后使用DNMF作为编码器来获得它们的嵌入。
2) 为了实现最佳的嵌入融合，引入了注意力机制来动态学习每个视图的学习节点级重要性权重。
3) 在模型训练过程中，我们结合了原始图约束和图正则化约束，以增强学习嵌入的表达能力和结构保留能力。
4) 在11个基准数据集上进行的广泛实验表明，MIA-DNMF在社区检测任务中始终优于最先进的方法。

**本文的其余部分结构如下：**
第2节回顾了社区检测的相关进展。第3节介绍了整个研究中使用的主要符号和背景概念。第4节详细描述了所提出的MIA-DNMF模型。第5节报告并分析了11个真实世界数据集的实验结果。最后，第6节总结了本文并概述了未来的研究方向。

**相关工作**
在本节中，我们介绍了几种与经典社区检测相关的方法，并详细描述了基于NMF的方法。

**预备知识**
在本节中，我们正式介绍了本文中使用的符号和术语。此外，我们还定义了几个与我们的工作核心相关的概念，包括DNMF、Onionshell和图对比学习。

**提出的方法**
在本节中，我们详细介绍了所提出的MIA-DNMF方法。MIA-DNMF的总体框架如图1所示。首先，对于给定的图，我们构建三个视图，即原始图、结构增强视图和全局相似性视图，以完全提取拓扑信息。这三个视图分别用、和表示。然后，使用DNMF编码器学习不同视图的低维嵌入，表示为、和。

**实验**
在本节中，我们通过将所提出的方法与12种算法在11个数据集上进行比较来评估MIA-DNMF的性能。我们还进行了消融实验、参数敏感性分析以及稳定性和收敛性分析。所有实验都是在以下条件下完成的：Python 3.11运行在Ubuntu Server上，配备2.40GHz E5-2620 v3 CPU和16 GB主内存，以及Pytorch 2.5.1 + cu121平台，配备NVIDIA GeForce RTX 3060Ti 8GB GPU。本文中探索的所有代码文件都...

**结论**
在本文中，我们提出了一种名为MIA-DNMF的新社区检测方法。与基于NMF或深度图神经网络的传统方法不同，我们的方法引入了更深的线性映射结构，显著增强了表示能力，同时保持了模型的可解释性。为了整合多样化信息，我们还采用了注意力机制来融合来自不同视图的低维嵌入。此外，对比学习...

**作者贡献声明**
刘焕：撰写——初稿、软件、方法论、概念化。
陈碧莲：撰写——审阅与编辑、验证、监督、方法论、资金获取。
曹朗才：撰写——审阅与编辑、验证、监督、方法论、资金获取。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作部分得到了国家自然科学基金（批准号12371515）的支持。
刘焕于2024年在中国厦门大学获得工程学士学位。他目前正在厦门大学攻读控制工程硕士学位。他的研究兴趣包括社区检测和优化。