具有局部流形结构保持能力的鲁棒联合稀疏二维投影模糊聚类

《Neurocomputing》:Robust jointly sparse 2-dimensional projection fuzzy clustering with local manifold structure preservation

【字体: 时间:2026年02月06日 来源:Neurocomputing 6.5

编辑推荐:

  本文提出一种结合二维投影、流形约束与模糊聚类的鲁棒聚类方法,通过双线性正交子空间保留图像空间结构,利用F1范数重构误差动态更新样本隶属度,在九个基准数据集上验证其聚类精度提升2.47%及NMI提高2%,显著优于传统方法。

  
吴成茂|冯超功
西安邮电大学电子工程学院,中国西安 710121

摘要

降维聚类方法结合了特征降维和聚类技术来分析高维图像数据。然而,一维投影子空间聚类将二维图像转换为了一维向量,破坏了空间相关性并导致了信息丢失。分离降维和聚类的两阶段模型缺乏协调性,导致结果不理想。我们提出了一种具有局部流形约束的鲁棒稀疏二维投影模糊聚类方法,以改进图像聚类效果。每个簇由一个双线性正交子空间表示,F1-范数重构误差用于更新样本所属关系。相似性矩阵捕捉数据之间的亲和力,而拉普拉斯矩阵在降维过程中保持流形几何结构。优化过程使用块坐标下降法交替调整投影矩阵、簇中心和隶属矩阵,直到收敛。这种统一的无监督模型避免了图像向量化,降低了计算复杂度并保留了空间关系。在九个基准数据集上的实验表明,RS2DPFC-LMS算法的准确率提高了2.47%,归一化互信息提高了2%,显示出优越的聚类性能、参数稳定性和抗噪能力。

引言

聚类是一种常见的学习技术,广泛应用于数据分析[1]、语音识别[2]和图像分析[3][4][5]中。它通过最大化簇内的相似性和最小化簇间的相似性来对未标记数据进行分组。然而,从数值到复杂图像的各种数据类型给聚类算法带来了挑战,尤其是对于容易受到噪声影响的高维图像数据[6][7]。为了解决这些问题,先前的研究主要分为两类范式:基于向量的方法和基于张量的方法,每种方法又可进一步划分为单阶段和两阶段框架。
基于向量的图像聚类通过将图像转换为高维向量简化了初始处理,但破坏了像素级的空间关系并掩盖了结构信息。研究人员通过直接增强和无监督降维改进了模型。张等人[8]提出了一种无需降维的基于正则化的聚类模型,而刘等人[9]引入了角度矩阵优化来锐化簇边界。彭等人[10]通过整合互信息增强了LCDNMF方法的抗噪能力。降维技术如主成分分析[11][12]、保局域性投影[13]和拉普拉斯特征映射[14]在减少冗余的同时保持了局部几何结构。局部线性嵌入[15]揭示了流形结构,非负矩阵分解[16][17]、K均值[18]和基于图的谱聚类[19]等方法提高了特征提取和分组能力。尽管如此,将图像扁平化为向量仍然会导致空间上下文的丢失。
基于张量的方法直接对原始图像矩阵进行多维分解,保持了结构完整性[20][21]。传统的张量框架将特征提取和聚类分开,限制了整体性能。深度张量模型(如对比聚类[22])将聚类约束集成到特征学习中,提高了高维图像处理能力。然而,张量方法对噪声敏感且计算密集,因此结合模糊理论可能具有优势。
模糊聚类方法,特别是模糊C均值(FCM)[23]及其变体[24][25][26],在聚类研究中至关重要。它们根据不同的隶属程度将数据样本分配到多个簇中,特别是在图像聚类中提高了鲁棒性。FCM通过迭代更新簇中心和隶属关系,其扩展版本进一步提升了性能。这些方法适用于高维图像数据,有助于特征提取和结构分析。在图像分割中,软聚类能够精确划定边界以进行进一步分析。然而,大多数模糊聚类方法使用欧几里得距离度量,这限制了它们捕捉高维数据内在非线性流形结构和几何属性的能力。
传统的软聚类方法往往无法揭示复杂数据集中的隐藏拓扑结构,这引发了人们对谱聚类算法的兴趣。谱聚类[27]包括比率切割[28]、归一化切割[29]和最小-最大切割[30]等方法,每种方法适用于特定应用。它包含两个主要步骤:谱分析(使用特征值分解将数据投影到低维子空间)和硬聚类(通常通过硬C均值HCM实现),以划分得到的特征向量。相似性矩阵的构建会影响谱聚类结果[31]。虽然高斯核常用于构建邻接矩阵,但最近的研究探索了稀疏和低秩表示等替代方案[32][33]。值得注意的进展包括用于块稀疏亲和矩阵的块对角表示[34]和局部线性嵌入[15],后者在邻接矩阵中保留了空间数据属性。
尽管有先进的相似性矩阵构建方法,但两阶段方法(先进行谱嵌入再进行聚类)在降维和聚类目标之间缺乏协调性。谱分析保持了流形结构,但像HCM这样的聚类方法在固定嵌入上进行操作而无需调整。这一差距促使人们转向端到端的联合优化,通过统一的目标整合降维和聚类。
流形学习是一种关键的降维技术,它假设高维数据位于低维流形上[36]。它在减少维度的同时保留了内在的几何和拓扑结构,并减轻了噪声的影响。传统方法如局部线性嵌入(LLE)和拉普拉斯特征映射通过保持局部邻域或全局流形平滑性来降低维度。对于多视图数据,流形学习融合了不同视图之间的互补信息。使用概念分解和流形正则化的多视图聚类框架保持了各个视图的几何结构和共识流形结构,提高了对冗余特征和噪声的鲁棒性[37]。基于结构化子空间的方法[38]揭示了隐藏的拓扑连接,产生了更具区分性的聚类特征。此外,流形学习与谱方法结合(通过核技术[39]),其中算法与核主成分分析对齐,提供了灵活的非线性数据分析能力。这些进展突显了流形学习在结构保持、抗噪性和多视图融合方面的优势。
将流形结构整合到统一的聚类框架中已成为关键的研究焦点。例如,聂等人[40]通过结合降维和模糊隶属学习改进了高维非线性数据的聚类。周等人[7]通过添加投影学习改进了传统FCM,以更好地处理高维数据。RJSFC算法[41]在生成多个数据表示的同时保持了局部拓扑结构。WSFC算法[42]评估了特征重要性并保持了局部几何结构。王等人的PCIP算法[43]结合了FCM和主成分分析,以减少大型数据集中的异常值影响。张等人的SFCM-LFP算法[44]优化了降维和聚类,提高了模糊聚类的性能。SPEFCM方法[45]通过稀疏降维和最大熵FCM有效提取了特征。然而,这些基于向量的方法破坏了成像数据的内在几何结构,这促使人们开发了保持流形的二维嵌入技术。
传统的一维投影方法将二维图像转换为了一维向量,导致显著的空间信息丢失。二维方法如二维主成分分析(2DPCA)[46][47]保留了空间特征[48][49]并降低了计算复杂度,实现了高效的图像聚类。例如,2DPCA通过保留关键的空间特征提高了面部图像聚类的准确性[11]。2D投影的进步结合了流形正则化,在降维过程中保持了局部邻域结构。自适应的二维嵌入聚类方法[50]通过利用局部流形几何和全局拓扑优化了降维和聚类。最近的双线性投影框架通过减少行和列维度来提高鲁棒性和适应性。增强流形的二维模糊子空间聚类(MFSC)[51]结合了双线性投影、模糊聚类和流形正则化[52],创建了独立的行和列投影,以最小化信息丢失并保持几何结构。这种方法在降维子空间中保持了相似样本的接近性,提高了聚类准确性、抗噪能力和对复杂背景图像聚类中特征变化的适应性。
尽管在联合优化和二维嵌入方面取得了进展,但同时保持内在空间几何结构和确保稳健特征选择的统一模糊优化框架仍然缺乏。传统的模糊子空间聚类在处理噪声较大、异常值较多和高维数据时存在困难。本文提出了一种具有局部流形结构保持功能的鲁棒稀疏二维投影模糊聚类方法(RS2DPFC-LMS),以应对这些挑战。它将双线性子空间投影、鲁棒稀疏正则化和流形保持结合到一个框架中,提高了高维图像数据的聚类准确性、抗噪能力和抗异常值能力。与传统方法不同,它采用双线性正交子空间方法同时减少行和列维度,捕获空间结构而不会造成显著的信息丢失。该算法增强了特征选择并保持了几何结构,提高了聚类准确性、鲁棒性和计算效率。
本文的主要贡献如下:
本文提出了一种聚类模型,将二维双线性投影方法集成到FCM框架中,通过结合降维和簇分配在降维子空间中进行聚类。
该方法使用二维双线性正交子空间作为投影基础,将簇隶属关系与图像数据中的子空间表示质量联系起来。
l1,2
-范数作为损失和正则化的鲁棒聚类度量,保持了图像数据的流形结构并提高了子空间构建的鲁棒性。
实验结果证实,我们的方法在多个基准数据集上始终优于领先算法。
本文的结构如下:第2节回顾了相关的投影模糊聚类方法;第3节详细介绍了具有二维投影的鲁棒稀疏模糊聚类;第4节介绍了优化算法和理论分析;第5节报告了比较实验和结果;第6节总结了研究。

初步介绍

概述

本节总结了经典FCM、稀疏FCM、鲁棒稀疏FCM以及一维和二维投影模糊聚类技术的关键发现。使用的符号列在表1中。

动机

二维约束投影聚类方法通过双向投影保持了图像的空间结构,从而在降维后进行聚类。然而,它们在处理复杂、噪声较大的图像数据时面临两个主要挑战。首先,许多模型专注于最大化投影方差或整体可分性,但忽略了局部邻域关系和流形几何结构,导致在复杂的类间边界和类内情况下聚类重叠和不稳定。

图像数据集

实验在三个类别的九个数据集上进行:面部(Yale [63]、ORL [72]、Yale B [73]、JAFFE [74])、物体(COIL20 [75]、COIL100 [75])和手写数字(MNIST 2k2k [76]、[77]、MNIST 10k [76]、[77]、USPS [78])。表2提供了总结。
JAFFE数据集来自其官方仓库,所有面部图像的大小调整为32×32像素。ORL、Yale、Yale B、COIL20和COIL100数据集也调整为32×32像素,而MNIST(2k2k)和MNIST(10k)

结论与未来工作

本文提出了一种鲁棒的联合稀疏二维双线性投影模糊聚类算法,通过图正则化保持了局部流形结构,并优化了正交投影矩阵以提高聚类性能。实验表明,该算法在基准数据集上的表现优于现有方法,取得了较高的ACC和NMI分数。该算法有效处理了复杂、高维和噪声较大的图像数据,始终优于最先进的方法。

未引用参考文献

[88], [89]

CRediT作者贡献声明

冯超功:写作——审稿与编辑、撰写原始草稿、可视化、软件开发、资源收集、数据整理。吴成茂:监督、形式分析、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究的出版部分得到了中国陕西省教育厅自然科学专项基金(项目编号24JK0531)和中国陕西省自然科学基金(项目编号2025JC-YBMS-343)的支持。
吴成茂是第一作者,目前任职于西安邮电大学电子工程学院,中国西安 710121
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号