学习视图自适应的隐式正则化方法，以实现鲁棒的多视图子空间聚类

《Neurocomputing》：Learning view-adaptive implicit regularization for robust multi-view subspace clustering

　　陈光勇|陈思敏|徐慧朗|甘敏
中国福建省福州市福州市350108，福州大学计算机与数据科学学院

摘要
当不同视图受到异质噪声的影响时，多视图子空间聚类效果往往会下降。均匀的去噪强度无法匹配不同视图之间的可靠性差异；因此，它可能会模糊清晰视图中的信息结构，而未能充分抑制严重的噪声干扰。本研究针对现有方法在原理性优化模型中学习针对噪声项的视图特定正则化的能力有限的问题。我们提出了LVAMVC算法，该算法将一个健壮的多视图子空间模型的增强拉格朗日求解器展开为一个紧凑且可解释的网络。在这个展开的框架上，我们用可学习的隐式正则化机制替换了固定的显式噪声惩罚。一个噪声收缩模块学习了针对噪声的逐视图和逐层的阈值，使得去噪强度能够适应每个视图的特点。此外，一个残差隐式去噪正则化模块学习了中间噪声估计的非线性校正，从而能够在显式范数之外捕捉到结构化的噪声模式。所提出的框架保持了优化导出更新的透明度，并实现了跨视图的细粒度噪声建模。在八个公共数据集上的实验表明，LVAMVC始终优于十个代表性的最先进基线方法，并且在视图特定损坏的情况下表现出很强的鲁棒性。

引言
聚类是一种基本的无监督学习范式，它根据数据的相似性进行分组，而不依赖于手动标注的标签[1]、[2]。然而，在许多现实世界应用中，每个对象都由多种异构视图描述，如文本、音频和图像[3]。多视图聚类的目标是通过联合利用所有视图的信息来发现数据的共享、视图一致性的划分[4]、[5]。尽管多视图聚类已成为揭示跨视图共享的低维结构的流行工具，但其实际性能往往受单个视图质量的影响[6]、[7]。在许多实际场景中，不同视图展现出高度异构的结构或噪声模式：例如，低分辨率或严重压缩的图像，或来自严重退化的传感器的信号[8]。在这种情况下，核心挑战是如何在过滤掉视图特定噪声的同时有效提取跨视图的一致信息[9]。如果处理不当，噪声较大的视图可能会主导或扭曲学习到的共识表示，导致聚类性能下降[6]、[10]。

为了提取跨视图一致的信息，大量的多视图聚类（MVC）方法施加了显式的先验约束来对齐视图特定的表示，从而促进跨视图的一致性[3]、[9]、[11]、[12]、[14]。当所有视图的质量相当时，这种一致性正则化是有效的。然而，一旦某些视图受到严重损坏，模型就不得不在可靠性差异很大的视图之间寻找一致性。在这种情况下，低质量视图中的视图特定噪声不可避免地会污染一致性项，偏置学习到的共识表示，并损害聚类性能[15]、[16]。为了缓解这一问题，许多健壮的多视图模型为每个视图引入了明确定义的噪声项，并用手工设计的范数（如L2范数或L1范数）对其进行惩罚[11]、[12]、[13]、[14]。其思想是让误差变量吸收视图特定的噪声和异常值，以便剩余部分能够专注于编码共享结构。然而，在实践中，每个视图的真实噪声水平是未知的，并且可能会有很大差异[17]、[18]。因此，这些方法通常对所有视图使用单一的正则化权重或固定的近端阈值，从而强制执行均匀的去噪强度。这种一刀切的设计使得同时清理严重损坏的视图和保留清晰视图中的细粒度结构变得困难。

一些工作尝试通过根据重建残差为不同视图分配不同的标量权重来缓解视图质量不平衡的问题[19]、[20]、[21]、[22]。虽然这种加权策略可以降低全局不可靠视图的权重，但它们只能在粗略的视图级别调整损失，并且仍然缺乏在每个视图内建模复杂结构化噪声的能力。最近，人们探索了基于优化的深度展开网络用于多视图聚类[23]、[24]、[25]。通过将可学习的参数操作引入展开的求解器，这些方法以数据驱动的方式调整有效的惩罚强度，从而改善了对模态差异和噪声的鲁棒性。然而，这些方法忽略了现实世界中噪声的复杂非线性结构，因此在处理具有明显模态差异和异质噪声的视图时表现不佳。这引发了一个关键问题：我们能否学习针对噪声的视图特定的、数据驱动的正则化，这种正则化能够适应异质性和结构化的损坏，同时保持对原理性优化模型的依赖？

在这项工作中，我们从一个健壮的多视图子空间模型出发，并为其展开的求解器增加了针对噪声项的可学习隐式正则化。与现有方法不同，我们的核心贡献是设计了一种混合去噪机制，该机制从强度和结构两个角度对异质噪声进行建模。具体来说，我们引入了一个噪声收缩模块，为噪声的近端操作符分配了自适应阈值，使网络能够动态调整每个视图的去噪强度。此外，我们结合了一个数据驱动的残差隐式去噪正则化模块，该模块对中间噪声估计应用了小的非线性映射，以捕捉视图特定的噪声结构，并通过残差连接注入结果。通过结合这两个模块，所提出的框架有效实现了针对噪声项的视图特定的可学习近端操作符，实现了对复杂和结构化噪声的细粒度建模。这种混合设计使模型能够根据每个视图的结构特征调整其去噪行为，减轻了现有方法在处理视图特定噪声时的局限性以及固定显式先验的刚性。因此，我们的方法可以同时学习跨视图一致的表情并分离视图不一致的噪声，从而获得更可靠的共识亲和矩阵和更准确的聚类结果。

整个框架如图1所示，本研究的主要贡献总结如下：
- 健壮且自适应的多视图聚类框架。与依赖于固定手工设计显式正则化的传统方法不同，我们从一个健壮的经典多视图聚类模型开始，将其增强拉格朗日求解器展开为一个紧凑且可解释的网络。在这个框架内，我们引入了针对噪声项的视图特定的可学习正则化，使惩罚能够适应每个视图的质量，并在存在复杂视图特定噪声的情况下显著提高鲁棒性。
- 混合可学习去噪机制。在这个展开的框架内，我们设计了一种混合机制，从强度和结构两个互补的角度对噪声进行建模：(a) 噪声收缩模块为近端操作符分配了可学习的视图级和层级阈值，实现了对不同视图间噪声强度的动态适应；(b) 残差隐式去噪正则化模块对噪声估计应用了数据驱动的非线性映射，使模型能够捕捉无法通过固定显式范数表征的复杂和结构化噪声模式。
- 广泛的实验验证。我们在八个公共的多视图数据集上进行了全面的实验。与十个代表性的最先进基线方法相比，所提出的方法始终实现了更好的聚类性能。关键的是，即使在存在复杂的异质视图特定损坏的情况下，它也能保持稳定的准确性，验证了其实际的鲁棒性和有效性。

本文的其余部分结构如下：第2节回顾了多视图聚类的相关工作；第3节介绍了所提出的算法；第4节提供了我们算法的实验结果、分析、可视化和参数敏感性分析；最后，第5节提出了我们的结论。

相关工作
近年来，流行的多视图聚类方法可以大致分为几种范式。基于图的方法整合了视图间的相似性结构，以保持局部连通性和流形几何特性，但它们对显著噪声或高视图异质性仍然敏感[1]、[26]。基于核的技术采用多核学习来实现非线性表示对齐，但其可扩展性受到核选择和计算开销的限制[27]。

提出的模型
现有的多视图子空间聚类算法在面对异质视图特定噪声时通常表现不佳。首先，通过单一正则化方案或在所有视图中共享的固定近端操作符实现的统一去噪策略无法提供视图区分性处理。其次，通过重建残差对视图进行加权只能在视图级别进行粗略调整，仍然缺乏在每个视图内建模复杂和结构化噪声的能力。

实验
本节通过比较实验评估了所提出方法在八个广泛使用的多视图聚类数据集上的有效性，与十个最先进的方法进行了对比。我们首先详细介绍了实验设置，然后提供了涵盖聚类性能、鲁棒性、适应性、收敛性、参数敏感性和消融研究的全面评估。为了确保公平和有效的比较，所有基线方法都使用相同的参数设置进行配置。

结论
本研究解决了传统多视图聚类算法的局限性，这些算法依赖于固定的手工设计显式先验来进行视图差异性去噪，并提出了一种自适应的数据驱动策略来处理视图特定问题。我们已经证明，仅基于显式先验的传统多视图聚类模型不足以处理特定视图中的复杂噪声模式，往往会模糊区分性结构并限制共识的形成。

作者贡献声明
陈光勇：撰写——审阅与编辑、验证、项目管理、方法论、资金获取、概念化。
陈思敏：撰写——原始草案、可视化、验证、项目管理、调查、数据管理、概念化。
徐慧朗：撰写——审阅与编辑、验证、方法论、调查、概念化。
甘敏：撰写——审阅与编辑、验证、监督、资源管理。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢
本研究部分得到了中国国家自然科学基金（项目编号62173091）的支持，部分得到了福建省自然科学基金（项目编号2024J0902）的支持，部分得到了福州大学青山学者计划（项目编号XRC-22014）的支持，以及福州大学研究生教育教学改革项目（项目编号FYAI2025011）的支持。

陈光勇（IEEE会员）于2012年中国西安电子科技大学获得数学学士学位，2014年中国安徽合肥科技大学获得数学硕士学位，2019年中国福州大学数学与计算机科学学院获得数学博士学位。他目前是福州大学计算机与数据科学学院的教授研究员。