《Neural Networks》：DSA-Diff: Dynamic Schedule Alignment for Training-Inference Consistent Modality Translation in x-prediction Diffusion Model
编辑推荐：
细粒度聚类中，传统方法因忽略样本间细微语义差异导致聚类边界模糊。本文提出融合低秩优化与模型重用的新型框架，通过高置信度组引导的稀疏化操作约束增强矩阵低秩，有效提升细粒度聚类的一致性与鲁棒性，实验表明优于现有方法。
Jie Hong|Xulun Ye|Jieyu Zhao
宁波大学电气工程与计算机科学学院，中国宁波，315211
摘要
深度聚类将深度模型扩展到聚类任务中，由于其高聚类性能而受到了广泛关注。然而，传统的深度聚类方法假设不同类别的样本之间存在微小差异。实际应用中，观测数据往往来自高度相似的样本。在本文中，我们研究了这种细粒度聚类任务，而传统的粗粒度聚类难以捕捉到细微的语义差异，这通常会导致具有相似特征的簇之间的决策边界不明确。我们的目标是学习特征表示，以促使细粒度数据在嵌入空间中形成清晰的簇边界。在本文中，我们探讨了细粒度聚类任务，并提出了一种新颖的模型重用框架。该框架通过增强聚类一致性和鲁棒性，优于现有的细粒度聚类方法。为了保证一致性，它采用了低秩优化技术，从而在同一样本的不同视图上获得稳定且高置信度的预测结果。为了提高鲁棒性，它利用了由重用模型引导的稀疏化技术；这有助于更好地处理类内方差和类间相似性，而不会陷入平凡解。我们将模型统一在一个低秩优化框架中。具体来说，我们的模型通过重用模型来指导高置信度组对同一样本的不同扰动进行稀疏化，以实现低秩，从而产生一致且高置信度的聚类结果。我们从理论上证明了在我们的稀疏化条件下可以实现样本增强矩阵的低秩，从而提供了一种强大的细粒度无监督聚类方法。我们的方法在三个细粒度图像数据集上取得了先进的聚类性能。
引言
聚类是机器学习中的一个基本任务，其目的是将未标记的样本分组到簇中，以最大化簇内的相似性和簇间的差异性。现有的深度聚类研究大致可以分为基于结构先验的方法（MacQueen，1967年）、基于分布先验的方法（Jiang等人，2016年；Mukherjee等人，2019年）以及基于增强不变性先验的方法（Deng等人，2023年；Li等人，2021年）。尽管这些方法在粗粒度数据集上取得了显著成果，但在细粒度的实际场景中往往遇到困难（Deng等人，2023年；Li等人，2021年）。细粒度分析通常指的是对高度相似的子类别进行详细和精确的分析或分类。在细粒度场景中，由于环境变化或数据收集不一致，同一簇内的类别可能会随时间动态演变（Kim和Ha，2022年；Krause等人，2013年；Nilsback和Zisserman，2008年）。特别是，基于内在特征的方法严重依赖于数据的浅层特征或单模态表示。在细粒度场景中，由于类间差异细微和类内方差复杂，传统方法难以对这类高度相似的样本进行建模，导致决策边界模糊和解决方案退化。例如，在野生动物监测中，区分密切相关的鸟类物种（如各种莺类）依赖于羽毛图案、喙形或叫声的细微差异（Wah等人，2011年）。然而，子类别之间的高相似性往往导致决策边界模糊和频繁的误分类。同样，在医学成像中，识别肿瘤亚型或疾病变异（例如，区分良性和恶性病变，即使视觉差异很小）也会引入复杂的类内方差（DeAngelis，2001年）。这些方差源于患者特定的解剖结构、成像伪影或环境噪声等因素，导致聚类结果不一致，模型退化为简单的分类。因此，开发能够辨别细微语义差异的鲁棒无监督技术对于在这些领域做出更准确和高效的决策至关重要。
关于细粒度聚类的先前研究（Chen等人，2016年；Kim和Ha，2022年；Singh等人，2019年）旨在通过生成模型学习一个适合聚类的嵌入空间。近年来，随着标注数据的增加，基于标记数据集的各种监督模型得到了发展（Huang等人，2024b；Ye等人，2022年；Zhang等人，2025年）。虽然现有的细粒度聚类方法主要关注于改进传统无监督方法以适应细粒度任务，但它们常常忽略了从这些监督模型中重用知识的潜力来辅助细粒度聚类。将现有的监督模型应用于细粒度聚类时，面临的问题是学习到的模型是在现有数据集上训练的，这会导致任务不一致性。
在本文中，我们提出了一种新的细粒度聚类方法来解决上述问题。为了消除任务不一致性，我们采用了一个结合低秩优化和对比学习的框架。具体来说，我们首先使用低秩分解构建了一个细粒度特征学习框架。然后，我们证明了通过某些对比学习策略，低秩优化可以转化为一个模型重用问题。通过将对比聚类框架与现有训练模型的零样本预测能力相结合，并采用稀疏的低秩约束，我们利用模型对轻微扰动样本的高置信度类别指导，动态优化增强矩阵的秩结构，从而在潜在空间中稳定地迫使相似样本形成紧凑且具有区分性的簇分布。我们的主要贡献如下：
(1) 我们提出了一种新颖的模型重用框架，该框架利用低秩方法通过模型辅助的稀疏化来学习适合聚类的特征嵌入，使细粒度数据集能够形成清晰的簇边界，而不会陷入退化解。
(2) 我们从理论上证明了我们的稀疏化操作可以约束增强矩阵的秩，从而获得一致且高置信度的预测结果。
(3) 我们在三个标准基准数据集以及额外的消融实验上的实验表明，所提出的方法显著优于现有方法。
章节片段
深度聚类
深度图像聚类网络（Chang等人，2017年；Gai和Liu，2025年；Huang、Chen、Chen、Wang、Lai，2024a；Huang、Gong、Zhu，2020年；Li等人，2021年；Wang和Liu，2025年；Wang等人，2021年；Xie等人，2016年；Yang等人，2016年）具有对未标记图像进行分类的能力，从而有效利用了神经网络的强大特征提取能力。
我们提出的方法
在本节中，我们描述了所提出的模型框架。我们方法的流程如图1所示。我们的方法基于低秩约束。首先，我们提出了一个低秩引导的模型重用框架，随后将其与对比学习相结合。
实验设置
数据集。 我们提出的方法在三个广泛用于细粒度图像分类任务的数据集上进行了评估。这些数据集包括：i) CUB-200-2011（Wah等人，2011年）：包含200种鸟类的5,994张训练图像和5,794张测试图像。ii) Stanford Dogs（Krause等人，2013年）：包含120种狗类的12,000张训练图像和8,580张测试图像。iii) Oxford Flower（Nilsback和Zisserman，2008年）：包含102种花卉类别的2,040张训练图像和6,149张测试图像。在我们的实验中，我们没有对这些数据集进行区分
结论
本文并没有直接挑战那些难以表示的细粒度数据集。相反，它创新性地提出了一种新的模型重用框架，用于细粒度聚类任务。为了充分利用大型模型的性能，我们建议对基于CLIP的零样本预测结果进行稀疏操作以实现低秩。广泛的实验表明，我们的方法优于之前的细粒度聚类方法。未来，这个框架可以进一步扩展
CRediT作者贡献声明
Jie Hong：可视化、形式分析、数据整理、概念化。Xulun Ye：资源获取。Jieyu Zhao：资源获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文报告的工作。
致谢
本工作得到了中国国家自然科学基金（项目编号62471266、62006131、62071260）、浙江省自然科学基金（项目编号LQ21F020009、LGF21F020008、LQ22F020020）以及宁波市公益科技研究项目（项目编号2022S134）的支持。
