具有鲁棒性控制的对抗性图卷积网络，用于多视图半监督分类

《Knowledge-Based Systems》：Robustness Controlled Adversarial Graph Convolutional Network for Multi-view Semi-supervised Classification

多视图图卷积网络噪声鲁棒性优化与双层级框架研究。摘要：针对多视图学习中文视图异构数据噪声敏感问题，提出基于双层级优化的对抗图卷积方法。下层最大化图正则化以构建鲁棒图拉普拉斯算子，上层最小化对抗损失提升表征鲁棒性。该方法实现表征学习与拓扑调整的协同优化，有效提升噪声数据下的分类性能和模型泛化能力。实验验证其在多个基准数据集上优于现有方法。

　　

王江华|魏志成|史志斌|宋娜|王世平

重庆电子科技职业学院人工智能与大数据学院，中国重庆，401331

摘要

基于图卷积网络的多视图学习可以利用来自异构数据视图的监督信息来提高性能，因此在各个实际领域受到了越来越多的关注。尽管现有的研究和应用已经取得了显著的进展，但它们大多分别考虑特征学习和拓扑结构学习，导致学习到的表示或拓扑结构被低估，并且容易受到噪声的影响。为了解决这些挑战，我们首先提出了一种端到端的可解释图神经网络的两级优化框架，然后将对抗训练引入多视图学习中，将多视图对抗图卷积问题建模为一个极小化最大化优化问题。具体来说，低级优化在稳健的控制范围内最大化图正则化，以细化图拉普拉斯矩阵，而高级优化最小化由低级扰动引起的损失，从而增强表示的鲁棒性。这种方法共同提高了模型对噪声数据的适应能力。所提出的方法旨在同步表示学习和拓扑调整，以确保特征和拓扑结构之间的有效信息传递。它是动态图结构学习范式中多视图图卷积网络的一种高效解决方案。广泛的实验验证了我们的方法在各种真实世界多视图数据集上的有效性。

引言

由于信息获取过程的多样性，描述同一实体的数据可以从多个来源获得，这些数据统称为多视图数据。通过整合来自不同来源或格式的信息（如图像、音频和文本）来共同描述一个电影，多视图数据比单视图数据提供了更全面的对象表示[1]、[2]。这种语义丰富性促进了多视图学习作为专门学习范式的研究[3]、[4]、[5]。随着多视图数据中捕获的信息变得更加完整，多视图学习在包括聚类[6]、[7]、判别分析[8]、[9]和计算机视觉[10]、[11]在内的任务中取得了显著的成就。此外，由于资源限制，现实世界场景中缺乏准确标注的数据。因此，多视图半监督学习越来越受到关注，它利用有限的标注数据来预测大量未标注数据的标签[12]、[13]、[14]。

基于图的方法已成为多视图半监督分类的主要方法之一。在这些方法中，核心思想是利用每个视图中的隐含图结构，并采用随机游走、矩阵分解或图神经网络（GNNs）等技术，仅使用有限的标注样本来推断大量未标注数据的标签，从而减轻与多视图数据相关的高标注成本[15]、[16]、[17]。基于图的表示可以有效地近似数据的流形结构，灵活地表示具有任意分布的数据，并促进节点之间标注信息的传播[18]。图卷积网络（GCNs）是GNNs的一种代表性类型，由于它们具有强大的特征提取和非欧几里得数据结构建模能力，在节点分类[19]、[20]、链接预测[21]、[22]和推荐系统[23]、[24]等各个领域展示了巨大的潜力。许多研究人员通过揭示多视图数据中的隐藏联系，将GCNs引入多视图领域。通过这种集成参与多视图表示学习，GCNs产生的数据表示比单视图方法更加全面，从而提高了下游任务的性能[25]。

尽管多视图学习取得了显著进展，但其在处理噪声数据方面的鲁棒性仍然是一个主要挑战。现有方法中图结构的构建主要依赖于k最近邻算法来计算原始特征之间的成对相似性。然而，现实世界数据中的固有噪声会导致相似性度量不准确，进而污染构建的图结构[26]。由于GCNs在消息传递过程中严重依赖这些拓扑结构，这种受污染的结构引入了偏差，误导了学习过程并损害了下游任务的性能[27]。尽管这个问题显著影响了模型性能，但关于构建抗噪声图结构以进行稳健多视图学习的系统研究仍然有限。此外，大多数现有方法将特征学习与拓扑调整分离，这可能导致表示学习和拓扑调整之间的不一致[28]。为了有效利用监督信息并获得更具适应性的图表示和拓扑结构，开发一个表示学习和拓扑调整的协同框架至关重要。

为了解决上述挑战，我们提出了一种端到端的可解释图神经网络的两级优化框架。该框架通过直接从优化问题推导出网络架构来强调内在的可解释性，建立了节点嵌入和拓扑调整之间的明确数学对应关系，使得每个消息传递层都可以被解释为由明确定义的优化目标控制的系统演化。在此基础上，我们引入了一种具有极小化最大化两级优化的多视图对抗图卷积方法。两级优化为组织这种对抗过程提供了一个自然的层次结构框架，并建立了拓扑学习和表示学习之间的明确依赖关系。同时，对抗训练鼓励图拓扑细化和表示学习的动态演化受到鲁棒性考虑的指导。所提出的方法提供了对抗图扰动的鲁棒控制，其中低级优化最大化图正则化以获得一个稳健的图拉普拉斯算子，而稳健控制用于约束给定图结构和学习到的图结构之间的误差边界。高级优化最小化由低级优化生成的对抗损失，从而帮助学习到的表示对噪声具有鲁棒性。总之，该方法利用鲁棒控制的对抗训练来驱动动态图学习，从而提高了模型的抗噪声能力。最终，学习到的图结构不仅提高了下游任务的性能，而且保持了稳定性，并提供了对含噪声数据的可靠特征表示。图1展示了所提出方法的概述。本文的主要贡献可以总结如下：

•

提出了一种在动态图结构学习范式中用于多视图图卷积网络的优化驱动方案，可以有效提高模型对噪声数据的鲁棒性。

•

提出了一种端到端的图神经网络两级优化框架，提供了优化驱动的可解释性，将多视图对抗图卷积问题建模为一个极小化最大化优化问题。

•

在基准数据集上的广泛实验表明，所提出的方法在分类效果和鲁棒性方面优于其他最先进的方法。

本文的其余部分组织如下。第2节回顾了图神经网络、多视图学习和多视图图构建的现有工作。第3节详细介绍了所提出的方法。第4节通过广泛的实验评估了模型的有效性。最后，第5节总结了本文并展望了未来的研究方向。

相关工作

相关工作

在本节中，我们将回顾涉及图神经网络、多视图学习和多视图图构建的相关工作。

所提出的方法

在详细阐述所提出的方法和优化理论之前，我们首先介绍常用的符号及其相应的定义。

符号和描述。 用$X_{\Omega }={\{X^v,Y_{\Omega }\}}_{v=1}^V$表示第$X^v\in R^{N\times D_v}$，其中$X_{\stackrel{￣}{\Omega }}={\{X^v,Y_{\stackrel{￣}{\Omega }}}^{}$

实验

在本节中，我们首先描述了基准数据集和基线方法。随后，指定了实验配置，然后进行了全面的评估，以验证所提出方法的有效性。

结论

在本文中，我们提出了一种端到端框架，利用图对抗卷积来解决多视图学习中拓扑图对噪声数据敏感的问题。为了提高模型的可解释性，我们设计了一个基于两级优化的可解释图神经网络框架。在这个框架中，我们引入了一个具有鲁棒控制的多视图对抗图卷积网络，其中低级优化产生了一个细化的图，而高级优化

CRediT作者贡献声明

王江华：方法论、研究。魏志成：写作——原始草稿、数据整理。史志斌：验证、软件。宋娜：写作——审阅与编辑、监督。王世平：写作——审阅与编辑、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了中国国家自然科学基金（项目编号U21A20472和62276065）、福建省自然科学基金（项目编号2024J01510026）以及重庆市科学技术局自然科学基金项目（项目编号2024NSCQ-MSX1341）的支持。