超越局部聚合：用于多视图融合的全局图对比学习

《Neural Networks》：Beyond Local Aggregation: Global Graph Contrastive Learning for Multi-view Fusion

多视图融合中，本文提出G2CM算法，通过全局拓扑与视图特定加权边构建可靠图结构，结合三种正对、两种负对的对比学习框架提升跨视图对齐，并引入距离感知缩放优化损失函数，有效融合局部语义与全局结构信息。

　　

薛阳敏|贾丽丽|方志涵|林伟宏|王世平

中国电子科技大学数学科学学院，成都，611731，中国

摘要

多视图融合已成为从异构来源学习统一嵌入的有效范式。基于图的方法因其能够捕捉和对齐实例之间的跨视图结构关系而受到认可。目前，在无监督环境中，基于图神经网络的多视图学习面临三个关键挑战：构建可靠的图拓扑结构、对齐视图间关系以及利用结构信息。在本文中，我们提出了全局图对比学习多视图融合（G²CM）算法来解决这些问题。为了构建可靠的图拓扑结构，我们结合了全局拓扑和视图特定的加权边，其中全局拓扑编码了关系上下文，而视图特定的加权则保留了每个视图内的局部语义。然后使用这些加权邻接矩阵为每个视图构建单独的图卷积网络，从而在表示学习过程中更精确地建模和整合全局和局部结构信息。为了增强跨视图对齐，我们引入了一个对比学习框架，其中包含三种类型的正样本对和两种类型的负样本对，以捕捉视图间的多级语义关系。通过联合建模视图内和视图间的对齐，该框架提高了学习到的嵌入的区分能力和语义一致性。为了更好地利用结构信息，我们将距离感知缩放纳入损失函数中，根据样本对在特征空间中的接近程度对其进行加权。在六个基准多视图数据集上的实验表明，G²CM在各种数据类型上均取得了最先进的性能。

引言

多视图数据指的是同一实体通过多种模态或特征空间表示的情况，例如从不同视角捕获的图像或同时由视觉帧和文本描述的电影。不同视图下的语义信息通常是一致的金等人（2021年）和互补的陈等人（2022a年）的研究结果。多视图学习中的一个主要问题是由于不同视图间信息的异质性而产生的左等人（2022年）。例如，图像提供空间特征，而文本提供语义线索，这使得视图间的交互变得复杂。多视图融合旨在有效地整合来自不同视图的特征信息陈等人（2022b年）。通过多视图融合获得的嵌入可以更全面地描述数据，从而提高下游任务的性能。

深度多视图学习已经展示了强大的性能，这得益于深度学习表示和融合跨视图异构信息的能力严等人（2021年）。基于图神经网络（GNN）的方法已成为主导范式，因为它们能够明确地建模多视图数据中的结构依赖性和关系模式肖等人（2024年）。对于缺乏内在拓扑结构的多视图数据，将它们转换为图表示有助于揭示样本间的内在关系韦利奇科维奇（2023年）。这种结构表示通过图拓扑促进了视图特定特征的整合，最终产生更健壮和信息丰富的嵌入涂等人（2021年）。最近的研究表明，建模长距离交互可以增强全局信息传播和表示质量何等人（2025年）。基于图的方法可以进一步利用局部和全局结构信息多尔纳伊卡（2023年）；王等人（2025b年），从而更准确地捕捉样本间的关联和视图内的相关性。补充研究探索了多图融合和自适应特征学习，以增强多视图数据中的拓扑构建和区分能力唐等人（2023年）；朱等人（2024年）。最近的研究还检查了传统图卷积网络的表示局限性，表明基于核的扩展可以提高模型的泛化能力和可解释性吴等人（2023年），而以分布为导向的公式通过用自适应参考分布学习替代全局池化来提高效率和泛化能力王和范（2024年）。这些方法在监督（胡等人（2024b年）；景等人（2014年）和半监督（徐等人（2024年）多视图学习任务中都表现出了显著的性能。除了这些设置外，无监督学习方面的最新进展进一步扩展了基于图的多视图方法的应用范围。

对比学习作为一种强大的自监督范式出现，通过构建正样本对和负样本对来最大化不同结构语义层次之间的互信息。在这个框架内，DGI韦利奇科维奇等人（2019年）通过最大化局部子图嵌入与全局图摘要之间的互信息，实现了高效的无监督节点表示学习。CMC田等人（2020年）从多视图的角度出发，最大化同一场景不同视图之间的互信息，以学习视图不变的潜在语义表示。通过用对比损失替换跨视图预测，它产生了具有更强语义表达力的融合表示。沿着这一路线，图对比学习已扩展到用于社区检测和层次聚类的多层网络曹等人（2024年）；杨和马（2023年），实现了共享和视图特定语义的联合建模。同时，另一条研究路线专注于提高模型的鲁棒性和聚类标签的利用。例如，SGCMC夏等人（2022年）构建了一个端到端的图卷积网络，不仅减轻了图结构中异常值的影响，还解决了现有基于GNN的多媒体方法中聚类标签使用不足的问题。值得注意的是，最近关于不完整多视图聚类的研究王，王，苗，马，2024a；王，张，王，马，2025a在统一的优化框架内共同进行了数据恢复、结构学习和聚类，强调了将对比学习与结构约束相结合的重要性。

目前，基于GNN的多视图学习在无监督场景中面临几个关键挑战：

• 1)
  基于图的方法的性能受到构建的拓扑结构质量的强烈影响潘和康（2021年）。在无监督场景中，由于缺乏标签监督，生成可靠的图结构尤其具有挑战性。局部策略，如MVCSL徐等人（2021年），通过计算视图内的相似性并通过启发式加权来聚合它们来构建图。虽然有效捕捉视图特定关系，但它们通常无法建模跨视图的结构依赖性，导致拓扑结构碎片化或不一致。CLOVEN凯等人（2024年）从集成表示中构建图，提高了整体结构的一致性。然而，它可能难以保留视图间的细粒度结构差异，这对于捕捉多视图数据中的语义多样性至关重要。
• 2)
  缺乏监督也限制了对可靠视图间关系的访问，这使得多视图信息的对齐和整合变得复杂。CMC田等人（2020年）仅将同一实例的跨视图表示视为正样本对，而忽略了相邻节点之间的语义相似性。这种方法与图结构中的同质性假设相冲突，该假设认为相邻节点可能具有相似的语义王等人（2024a）。
• 3)
  尽管图结构本身编码了丰富的关系线索高等人（2025年），但在没有监督的情况下提取和利用这些信息仍然是一项非平凡的任务。现有方法的一个共同限制是它们未能考虑成对距离的差异，导致结构信息的利用不足。

在本文中，我们提出了全局图对比学习多视图融合（G²CM）算法来解决现有多视图表示学习框架中的限制。G²CM的总体框架如图1所示。首先，我们利用全局信息并根据每个视图的局部特征计算视图特定的边权重来构建图结构。图拓扑是从连接的多视图特征矩阵构建的，边权重由每个视图内的成对特征距离独立确定。与通过全局特征融合构建图的CLOVEN和在每个视图内聚合局部相似性的MVCSL相比，G²CM构建了一个共享图，该图在保持视图特定差异的同时建模了跨视图的一致性。通过这种方式整合全局拓扑和局部语义，所提出的方法实现了更精确和平衡的图结构，为下游学习任务提供了更可靠的基础。其次，我们采用对比学习策略在无监督环境下有效地将语义相似的样本在嵌入空间中拉近。该策略整合了三种类型的正样本对对齐，从而充分利用了可靠的邻域结构，增强了表示的区分能力和语义一致性。通过建模视图内和视图间的语义关系，所提出的对齐框架提供了更全面的解决方案，提高了学习到的表示的一致性和质量。最后，将每个视图的成对特征距离纳入损失函数。基于InfoNCE损失，原始特征空间中欧几里得距离更接近的样本对在优化过程中受到更大的重视，增强了它们在优化过程中的影响。这种距离感知缩放不仅使模型能够更好地捕捉邻域接近性并准确编码潜在的语义结构，还提高了拓扑信息的整体有效性。

在无监督环境下，我们在几个广泛使用的多视图数据集上进行了实验。学习到的嵌入直接用于聚类，结果表明所提出方法的有效性，在各种数据集中都取得了持续强劲的结果。

总之，本工作的主要贡献如下：

• •
  设计了一种全局-局部图融合方案，结合了共享拓扑和视图特定权重，通过GCNs有效指导多视图嵌入。
• •
  一种利用三种类型正样本对的新型对比学习框架，增强了学习到的嵌入的多样性和可靠性。
• •
  将成对特征距离纳入损失函数，使得能够更彻底地利用原始数据中的结构关系。

相关工作

相关工作

在本节中，我们简要回顾了与所提出方法相关的三项工作。

问题表述和符号

给定一个具有V个视图的多视图数据集X，每个视图表示为$X^v\in R^{N\times F_v}$，其中每一行$x_i^v$表示第i个视图中的第v个样本。假设数据包含c个潜在类别标签，在无监督学习场景中这些标签信息是完全不可用的。所提出的G²CM模型旨在学习多视图数据的稳健联合表示，聚类作为下游任务。目标是将语义相似的样本分组到同一个簇中，从而

实验

在本节中，我们进行了一系列实验，以评估所提出算法在六个公开可用数据集上的性能。

结论

在多个多视图数据集上的实验表明，G²CM在无监督多视图学习中取得了优于最先进方法的性能。所提出的方法通过整合全局和视图特定的图结构来优化特征表示，从而实现了全面的关系建模，同时保持了结构稳定性。通过利用多样化的对比对，包括三种类型的正样本对和两种类型的负样本对，G²CM丰富了

未引用的引用

缺失的引用表2

CRediT作者贡献声明

薛阳敏：撰写 – 原始草稿，可视化，验证，软件，方法论，概念化。贾丽丽：监督，调查，资金获取。方志涵：撰写 – 审阅与编辑，软件。林伟宏：撰写 – 审阅与编辑，形式分析。王世平：资源，概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了四川省科技计划（项目编号2024ZYD0048）的支持。