深度细粒度聚类与模型复用

《Neural Networks》：Deep fine-grained clustering with model reusing

细粒度聚类任务中，传统方法因样本高度相似导致聚类边界模糊。本文提出基于低秩优化的模型重用框架，结合对比学习和稀疏化处理，增强聚类一致性和鲁棒性，在三个标准数据集上取得最优性能。

　　

Jie Hong|Xulun Ye|Jieyu Zhao

宁波大学电气工程与计算机科学学院，中国宁波，315211

摘要

深度聚类将深度模型应用于聚类任务，由于其出色的聚类性能而受到了广泛关注。然而，传统的深度聚类方法假设不同类别的样本之间存在轻微差异。但在实际应用中，观察结果往往来自高度相似的样本。本文研究了这种细粒度聚类任务，而传统的粗粒度聚类难以捕捉到细微的语义差异，这通常会导致具有相似特征的簇之间的决策边界不明确。我们的目标是学习特征表示，以促进细粒度数据在嵌入空间中形成清晰的簇边界。在本文中，我们探讨了细粒度聚类任务，并提出了一种新颖的模型重用框架。该框架通过提高聚类一致性和鲁棒性，优于现有的细粒度聚类方法。为了保证一致性，它采用了低秩优化技术，使得同一样本在不同视图下的预测结果稳定且具有高置信度。为了提高鲁棒性，它利用了由重用模型引导的稀疏化技术，从而更好地处理类内方差和类间相似性，而不会陷入平凡解。我们将模型统一在一个低秩优化框架中。具体来说，我们的模型通过重用模型来指导对同一样本的不同扰动进行稀疏化，以实现低秩，从而产生一致且高置信度的聚类结果。我们从理论上证明了在我们的稀疏化条件下可以实现样本增强矩阵的低秩，从而提供了一种强大的细粒度无监督聚类方法。我们的方法在三个细粒度图像数据集上取得了最先进的聚类性能。

引言

聚类是机器学习中的基本任务，其目标是将未标记的样本分组到不同的簇中，以最大化簇内的相似性和簇间的差异性。现有的深度聚类研究大致可以分为基于结构先验（MacQueen, 1967）、分布先验（Jiang, Zheng, Tan, Tang, & Zhou, Mukherjee, Asnani, Lin, Kannan, 2019）和增强不变性先验（Deng, Huang, Chen, Wang, Lai, 2023, Li, Hu, Liu, Peng, Zhou, Peng, 2021）的方法。尽管这些方法在粗粒度数据集上取得了显著成果，但在细粒度的现实世界场景中常常遇到困难（Deng, Huang, Chen, Wang, Lai, 2023, Li, Hu, Liu, Peng, Zhou, Peng, 2021）。细粒度分析通常指的是对高度相似的子类别进行详细和精确的分析或分类。在细粒度场景中，由于环境变化或数据收集不一致，同一簇内的类别可能会随时间动态演变（Kim, Ha, 2022, Krause, Stark, Deng, Fei-Fei, 2013, Nilsback, Zisserman, 2008）。特别是，基于内在特征的方法严重依赖于数据的浅层特征或单模态表示。在细粒度场景中，由于类间差异微妙和类内方差复杂，传统方法难以对这类高度相似的样本进行建模，导致决策边界模糊和解决方案退化。例如，在野生动物监测中，区分密切相关的鸟类物种（如各种莺类）依赖于羽毛图案、喙形或叫声的细微差异（Wah et al., 2011）。然而，子类别之间的高相似性往往会导致决策边界模糊和频繁的误分类。同样，在医学成像中，识别肿瘤亚型或疾病变异（例如，区分良性和恶性病变，即使视觉差异很小）也会引入复杂的类内方差（DeAngelis, 2001）。这些方差源于患者特定的解剖结构、成像伪影或环境噪声等因素，导致聚类结果不一致，模型退化为简单的分组。因此，开发能够辨别细微语义差异的鲁棒无监督技术对于在这些领域做出更准确和高效的决策至关重要。

以往关于细粒度聚类的研究（Chen, Duan, Houthooft, Schulman, Sutskever, Abbeel, 2016, Kim, Ha, 2022, Singh, Ojha, Lee, 2019）旨在通过生成模型学习一个适合聚类的嵌入空间。近年来，随着标注数据的日益丰富，各种基于标记数据集的监督模型得到了发展（Huang, Yang, Shen, Liu, Zhan, & Ye, Ye, Ming, Zhan, Chao, 2022, Zhang, Lu, Chen, Zhan, Ye, 2025）。虽然现有的细粒度聚类方法主要集中在改进传统无监督方法以适应细粒度任务上，但它们往往忽略了从这些监督模型中重用知识的潜力来辅助细粒度聚类。将现有的监督模型应用于细粒度聚类面临的问题是，学习到的模型是在现有数据集上训练的，这会导致任务不一致性。

在本文中，我们提出了一种新的细粒度聚类方法来解决上述问题。为了消除任务不一致性，我们采用了一个结合了低秩优化和对比学习的框架。具体来说，我们首先使用低秩分解构建了一个细粒度特征学习框架。然后，我们证明了通过某些对比学习策略，低秩优化可以转化为一个模型重用问题。通过将对比聚类框架与现有训练模型的零样本预测能力相结合，并采用稀疏的低秩约束，我们利用模型对高置信度类别的指导，对轻微扰动的样本进行动态优化，从而在潜在空间中形成紧凑且具有区分性的簇分布。我们的主要贡献如下：

(1) 我们提出了一种新颖的模型重用框架，该框架利用低秩方法通过模型辅助的稀疏化来学习适合聚类的特征嵌入，使细粒度数据集能够形成清晰的簇边界，而不会陷入退化解。

(2) 我们从理论上证明了我们的稀疏化操作可以限制增强矩阵的秩，从而获得一致且高置信度的预测结果。

(3) 我们在三个标准基准数据集以及额外的消融实验上的实验表明，所提出的方法显著优于现有方法。

章节片段

深度聚类

深度图像聚类网络（Chang, Wang, Meng, Xiang, Pan, 2017, Gai, Liu, 2025, Huang, Chen, Chen, Wang, Lai, 2024a, Huang, Gong, Zhu, 2020, Li, Hu, Liu, Peng, Zhou, Peng, 2021, Wang, Liu, 2025, Wang, Liu, Yu, 2021, Xie, Girshick, Farhadi, 2016, Yang, Parikh, Batra, 2016）具有对未标记图像进行分类的能力，从而有效利用了神经网络的强大特征提取能力。

我们提出的方法

在本节中，我们描述了所提出的模型框架。我们的方法流程如图1所示。我们的方法基于低秩约束。首先，我们提出了一个低秩引导的模型重用框架，随后将其与对比学习相结合。

实验设置

数据集。 我们提出的方法在三个广泛用于细粒度图像分类任务的数据集上进行了评估。这些数据集包括：i) CUB-200-2011（Wah et al., 2011）：包含200种鸟类的5,994张训练图像和5,794张测试图像。ii) Stanford Dogs（Krause et al., 2013）：包含120种狗类的12,000张训练图像和8,580张测试图像。iii) Oxford Flower（Nilsback and Zisserman, 2008）：包含102种花卉类别的2,040张训练图像和6,149张测试图像。在我们的实验中，我们没有对数据集进行区分

结论

本文并没有直接挑战那些难以表示的细粒度数据集。相反，它创新性地提出了一种新的细粒度聚类任务模型重用框架。为了充分利用大型模型的性能，我们建议对基于CLIP的零样本预测结果进行稀疏操作以实现低秩。广泛的实验表明，我们的方法优于之前的细粒度聚类方法。未来，这个框架可以进一步扩展到

CRediT作者贡献声明

Jie Hong：可视化、形式分析、数据整理、概念化。Xulun Ye：资源提供。Jieyu Zhao：资源提供。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（项目编号：62471266、62006131、62071260）；浙江省自然科学基金（项目编号：LQ21F020009、LGF21F020008、LQ22F020020）；以及宁波市公益科技研究项目（项目编号：2022S134）的支持。