聚类是一种常见的学习技术,广泛应用于数据分析[1]、语音识别[2]和图像分析[3][4][5]中。它通过最大化簇内的相似性和最小化簇间的相似性来对未标记数据进行分组。然而,从数值到复杂图像的各种数据类型给聚类算法带来了挑战,尤其是对于容易受到噪声影响的高维图像数据[6][7]。为了解决这些问题,先前的研究主要分为两类范式:基于向量的方法和基于张量的方法,每种方法又可进一步划分为单阶段和两阶段框架。
基于向量的图像聚类通过将图像转换为高维向量简化了初始处理,但破坏了像素级的空间关系并掩盖了结构信息。研究人员通过直接增强和无监督降维改进了模型。张等人[8]提出了一种无需降维的基于正则化的聚类模型,而刘等人[9]引入了角度矩阵优化来锐化簇边界。彭等人[10]通过整合互信息增强了LCDNMF方法的抗噪能力。降维技术如主成分分析[11][12]、保局域性投影[13]和拉普拉斯特征映射[14]在减少冗余的同时保持了局部几何结构。局部线性嵌入[15]揭示了流形结构,非负矩阵分解[16][17]、K均值[18]和基于图的谱聚类[19]等方法提高了特征提取和分组能力。尽管如此,将图像扁平化为向量仍然会导致空间上下文的丢失。
基于张量的方法直接对原始图像矩阵进行多维分解,保持了结构完整性[20][21]。传统的张量框架将特征提取和聚类分开,限制了整体性能。深度张量模型(如对比聚类[22])将聚类约束集成到特征学习中,提高了高维图像处理能力。然而,张量方法对噪声敏感且计算密集,因此结合模糊理论可能具有优势。
模糊聚类方法,特别是模糊C均值(FCM)[23]及其变体[24][25][26],在聚类研究中至关重要。它们根据不同的隶属程度将数据样本分配到多个簇中,特别是在图像聚类中提高了鲁棒性。FCM通过迭代更新簇中心和隶属关系,其扩展版本进一步提升了性能。这些方法适用于高维图像数据,有助于特征提取和结构分析。在图像分割中,软聚类能够精确划定边界以进行进一步分析。然而,大多数模糊聚类方法使用欧几里得距离度量,这限制了它们捕捉高维数据内在非线性流形结构和几何属性的能力。
传统的软聚类方法往往无法揭示复杂数据集中的隐藏拓扑结构,这引发了人们对谱聚类算法的兴趣。谱聚类[27]包括比率切割[28]、归一化切割[29]和最小-最大切割[30]等方法,每种方法适用于特定应用。它包含两个主要步骤:谱分析(使用特征值分解将数据投影到低维子空间)和硬聚类(通常通过硬C均值HCM实现),以划分得到的特征向量。相似性矩阵的构建会影响谱聚类结果[31]。虽然高斯核常用于构建邻接矩阵,但最近的研究探索了稀疏和低秩表示等替代方案[32][33]。值得注意的进展包括用于块稀疏亲和矩阵的块对角表示[34]和局部线性嵌入[15],后者在邻接矩阵中保留了空间数据属性。
尽管有先进的相似性矩阵构建方法,但两阶段方法(先进行谱嵌入再进行聚类)在降维和聚类目标之间缺乏协调性。谱分析保持了流形结构,但像HCM这样的聚类方法在固定嵌入上进行操作而无需调整。这一差距促使人们转向端到端的联合优化,通过统一的目标整合降维和聚类。
流形学习是一种关键的降维技术,它假设高维数据位于低维流形上[36]。它在减少维度的同时保留了内在的几何和拓扑结构,并减轻了噪声的影响。传统方法如局部线性嵌入(LLE)和拉普拉斯特征映射通过保持局部邻域或全局流形平滑性来降低维度。对于多视图数据,流形学习融合了不同视图之间的互补信息。使用概念分解和流形正则化的多视图聚类框架保持了各个视图的几何结构和共识流形结构,提高了对冗余特征和噪声的鲁棒性[37]。基于结构化子空间的方法[38]揭示了隐藏的拓扑连接,产生了更具区分性的聚类特征。此外,流形学习与谱方法结合(通过核技术[39]),其中算法与核主成分分析对齐,提供了灵活的非线性数据分析能力。这些进展突显了流形学习在结构保持、抗噪性和多视图融合方面的优势。
将流形结构整合到统一的聚类框架中已成为关键的研究焦点。例如,聂等人[40]通过结合降维和模糊隶属学习改进了高维非线性数据的聚类。周等人[7]通过添加投影学习改进了传统FCM,以更好地处理高维数据。RJSFC算法[41]在生成多个数据表示的同时保持了局部拓扑结构。WSFC算法[42]评估了特征重要性并保持了局部几何结构。王等人的PCIP算法[43]结合了FCM和主成分分析,以减少大型数据集中的异常值影响。张等人的SFCM-LFP算法[44]优化了降维和聚类,提高了模糊聚类的性能。SPEFCM方法[45]通过稀疏降维和最大熵FCM有效提取了特征。然而,这些基于向量的方法破坏了成像数据的内在几何结构,这促使人们开发了保持流形的二维嵌入技术。
传统的一维投影方法将二维图像转换为了一维向量,导致显著的空间信息丢失。二维方法如二维主成分分析(2DPCA)[46][47]保留了空间特征[48][49]并降低了计算复杂度,实现了高效的图像聚类。例如,2DPCA通过保留关键的空间特征提高了面部图像聚类的准确性[11]。2D投影的进步结合了流形正则化,在降维过程中保持了局部邻域结构。自适应的二维嵌入聚类方法[50]通过利用局部流形几何和全局拓扑优化了降维和聚类。最近的双线性投影框架通过减少行和列维度来提高鲁棒性和适应性。增强流形的二维模糊子空间聚类(MFSC)[51]结合了双线性投影、模糊聚类和流形正则化[52],创建了独立的行和列投影,以最小化信息丢失并保持几何结构。这种方法在降维子空间中保持了相似样本的接近性,提高了聚类准确性、抗噪能力和对复杂背景图像聚类中特征变化的适应性。
尽管在联合优化和二维嵌入方面取得了进展,但同时保持内在空间几何结构和确保稳健特征选择的统一模糊优化框架仍然缺乏。传统的模糊子空间聚类在处理噪声较大、异常值较多和高维数据时存在困难。本文提出了一种具有局部流形结构保持功能的鲁棒稀疏二维投影模糊聚类方法(RS2DPFC-LMS),以应对这些挑战。它将双线性子空间投影、鲁棒稀疏正则化和流形保持结合到一个框架中,提高了高维图像数据的聚类准确性、抗噪能力和抗异常值能力。与传统方法不同,它采用双线性正交子空间方法同时减少行和列维度,捕获空间结构而不会造成显著的信息丢失。该算法增强了特征选择并保持了几何结构,提高了聚类准确性、鲁棒性和计算效率。
本文的主要贡献如下:
•本文提出了一种聚类模型,将二维双线性投影方法集成到FCM框架中,通过结合降维和簇分配在降维子空间中进行聚类。
•该方法使用二维双线性正交子空间作为投影基础,将簇隶属关系与图像数据中的子空间表示质量联系起来。
•
-范数作为损失和正则化的鲁棒聚类度量,保持了图像数据的流形结构并提高了子空间构建的鲁棒性。
•实验结果证实,我们的方法在多个基准数据集上始终优于领先算法。
本文的结构如下:第2节回顾了相关的投影模糊聚类方法;第3节详细介绍了具有二维投影的鲁棒稀疏模糊聚类;第4节介绍了优化算法和理论分析;第5节报告了比较实验和结果;第6节总结了研究。