基于扩散引导的图生成方法在多视图半监督分类中的应用

【字体: 时间:2026年03月13日 来源:Neural Networks 6.3

编辑推荐:

  多视图扩散引导图生成方法通过扩散模块消除特征噪声并提取潜在结构,聚合模块融合原始与扩散特征,构建自适应邻接矩阵用于多图骨干网络,实验验证其优于现有半监督学习方法。

  
吴一琳|林伟红|董红阳|李金波|王世平
福州大学计算机与数据科学学院,中国福州350108

摘要

大量研究关注多视图学习,因为它能够获得更好的表示。尽管许多图卷积的变体已经很好地适应了多视图半监督任务,但它们大多受到多视图数据集通常缺乏自然图结构的限制。此外,现有方法直接利用原始特征空间来获取图结构,而没有考虑可能存在噪声以及表示学习的协同获取。为了解决上述挑战,本文提出了一种图生成深度学习方法,称为多视图扩散引导图生成,该方法包括两个模块:扩散模块和聚合模块。前者利用热扩散方程作为低通滤波器,从每个视图的原始特征中获取纯化的特征空间。后者通过残差连接保留原始信息,并生成一致的特征表示空间及其邻接矩阵。相应地,这些输出被用来校准每个视图多个图骨干网络中的参数。最后,采用融合方法整合来自上述多个图骨干网络的信息。广泛的实验结果表明,与其它最先进的多视图半监督方法相比,我们提出的方法具有更优越的性能。

引言

在机器学习中,高效地从数据中提取信息是一个共识。由于人力和成本的限制,足够的监督信息很难获得。相反,在现实世界的应用中广泛存在未标记的数据。为了解决这个问题,提出了关于半监督学习的实质性研究。这些工作分布在各个行业中,例如文本(Ai, Li, Wang, Wei, Meng, Li, 2025, Fan, Fan, Hu, Ding, Di, Yi, Pagnucco, Song, 2025, Gao, Chen, Wang, Lu, 2021)、图像(Jiao, Zhang, Ding, Xue, Zhang, Cai, Jin, 2024, Wang, Tan, Li, Tian, Song, Liu, 2023, Yang, Wu, Feng, 2023)和视频(Wang, Tan, Li, Tian, Song, Liu, 2023, Zhuang, Wang, Zhang, Fan, 2024)。
为了解决半监督学习中信息不足的问题,一些研究人员尝试引入信息传输机制,如图神经网络(GNNs)(Bronstein et al., 2017)、生成对抗网络(GANs)(Goodfellow et al., 2014)和图卷积网络(GCNs)(Kipf, Welling, 2017, Seo, Defferrard, Vandergheynst, Bresson, 2018)。具体来说,GNNs通过迭代消息传递机制利用拓扑连接性来实现图结构学习。生成对抗网络集成了参数化注意力模块,以动态调节节点间聚合权重,从而实现上下文感知的特征融合。在GCN中,通过图结构内节点间特征信息的迭代传播和聚合获得重要表示。值得注意的是,GCNs在多视图学习中的卓越能力也通过多种方法得到了验证。多视图学习基于一个实际考虑,即特征空间可能来自多个来源。基于GCN的方法实现消息传递机制来模拟不同视图之间的复杂信息,从而提高分类性能。然而,它们忽略了多视图数据集中不包含图的事实。
为了从数据中揭示潜在的完整图,提出了各种图结构学习方法。图结构学习是一种获取数据中图结构信息的技术。它的目标是产生具有联合实例特征描述的更好图结构,以提高基于图的学习方法的质量和准确性。图结构的研究可以分为两个方向:一个是关于整个图的学习,另一个是基于重构边的学习。前者的核心是在获取现有信息的同时生成整个图。图自动编码器(Kipf and Welling, 2016)是其中的经典范例,它通过生成节点嵌入来恢复邻接矩阵。然而,在图构建过程中需要综合信息,通常导致时间复杂度较高。与重建完整图不同,另一个方向是重构被遮盖的边。相关方法逐个在节点之间构建新边以获得最终的完整图。其中一些方法使用优化函数来最小化两个连接节点的嵌入之间的差异。在多视图学习领域,不同视图之间信息的复杂性和复杂性导致简单的图结构学习方法难以实现不同信息的统一融合。如何在多个视图之间平衡信息是一个关键挑战,应在将图结构学习应用于多个视图时加以解决。许多方法试图在多视图环境中推断图结构(Zhang et al., 2023)。然而,这些方法直接进行特征空间处理,而原始特征空间可能包含噪声成分,这会妨碍特征空间中价值信息的准确提取。
作为一种经典方法,扩散模型被用来获取更具代表性的特征空间(Song, Meng, Ermon, 2021, Yang, Wang, 2023)。在正向扩散过程中,原始特征空间经过多个步骤逐渐被扰动。在反向阶段,训练一个生成模型,逐步从扩散数据中恢复原始输入数据(Croitoru et al., 2023)。通过这个模型,可以获得特定的特征表示空间。各种研究表明,扩散过程具有很强的消除异常的能力。在这个方向上,不同的研究人员利用了扩散方程的这一特性,例如噪声条件得分网络(Song and Ermon, 2019a)。与这些旨在从纯高斯噪声中重建数据的生成扩散模型不同,我们的方法受到了物理热扩散过程的启发。从概念上讲,它作为特征空间上的确定性平滑操作符。正向过程在邻居之间传播信息,以抑制高频噪声,同时保持底层几何结构,有效地起到低通滤波器的作用。随后,反向过程使特征更加清晰,以恢复样本的潜在边界。
在本文中,我们提出了一种多视图扩散引导图生成(MDGG),旨在解决多视图学习中图结构和表示学习的共同获取问题。所提出的方法包括两个模块:扩散模块和聚合模块。首先,每个特征空间被集成到便携式扩散模块中进行处理,以获取特征表示。具体来说,正向过程通过在特征空间中聚合邻居信息来更新节点表示。在反向过程中,通过反向传播生成显著的实例表示。之后,使用具有残差连接的聚合模块合并原始特征空间和扩散特征空间。特别是,在这个过程中,不同视图生成了新的、一致的特征表示和自适应生成的邻接矩阵。每个图骨干网络由这两种类型的信息决定。最后,使用融合模块整合来自这些不同骨干网络的信息。所提出方法的概述如图1所示。简而言之,我们的贡献总结如下:
  • 为了抑制高频噪声并净化特征空间,使用结构引导的扩散过程模块作为原始特征空间的确定性滤波器。
  • 为了结合原始信息和扩散特征空间信息,使用聚合模型生成一致的特征表示及其图结构。
  • 在六个真实世界数据集中的广泛实际评估表明,所提出的方法优于现有的最先进方法。
  • 本文的后续部分安排如下。第2节对多视图学习、图结构学习和扩散模型进行了全面回顾。第3节详细介绍了所提出的方法。第4节展示了基本的实验设置和实验结果的比较分析。最后,第5节总结了本文并讨论了未来的发展方向。

    相关工作

    相关工作

    在本节中,介绍了三个相关领域,即多视图学习、图结构学习和扩散模型。

    提出的方法

    首先,提供了我们方法的总体框架和问题表述。然后,我们将详细阐述所提出方法的问题表述和优化过程。为了澄清模型表述和优化过程,表1总结了常用的符号。

    实验

    在本节中,将所提出的方法与九种最先进的算法在六个真实世界多视图数据集上进行比较。首先,介绍了数据集和比较方法的详细信息。然后我们进行半监督分类实验和参数敏感性分析,并验证了所提出方法的有效性。最后,通过可视化实验展示了所提出方法的性能。

    结论

    在本文中,我们提出了一种用于多视图学习的扩散引导图生成方法,该方法利用扩散模型生成特征表示和邻接矩阵。扩散模块和聚合模块是所提出方法的关键组成部分。为了获得更好的特征表示,每个特征空间都被导入扩散模块进行处理。通过扩散模块,通过正向过程和反向过程生成了新的特征空间。

    未引用的浮动文本

    图6。

    CRediT作者贡献声明

    吴一琳:撰写——原始草稿、可视化、验证、调查、形式分析。林伟红:撰写——审阅与编辑、可视化、调查。董红阳:撰写——审阅与编辑、可视化、方法论。李金波:撰写——审阅与编辑、监督。王世平:撰写——审阅与编辑、监督、资金获取。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

    致谢

    本工作部分得到了中国国家自然科学基金(项目编号U25A20527和62276065)和福建省自然科学基金(项目编号2024J01510026)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号