用于对比聚类的强化语义信息获取

《Engineering Applications of Artificial Intelligence》：Reinforced semantic information acquiring for contrastive clustering

图像聚类中通过改进对比学习框架解决伪负样本和类别不平衡问题，提出RASCC方法，结合实例级和聚类级的双阶段微调策略，显著提升聚类性能。

　　

崔鹏飞|吴浩伟|尹军

上海海事大学信息工程学院，上海，201306，中国

摘要

深度图像聚类的目标是以无监督的方式将图像分配到相应的簇中。Yin等人（2023年）提出的具有有效样本对构建的对比聚类（CCES）方法，证明了将ContrastiveCrop（Peng等人，2022年）与最近邻挖掘相结合在聚类中的有效性。然而，CCES的一个关键局限性在于它将同一类的不同样本的增强处理视为负样本对，这引入了假阴性，并与聚类的目标相冲突。为了解决这个问题，我们提出了一种新的对比聚类框架，称为强化语义信息获取用于对比聚类（RASCC）。我们通过引入一种伪标签引导的双层微调策略来扩展CCES，以减轻假阴性的不利影响并提高聚类质量。具体来说，RASCC包括两个阶段。在第一阶段，我们遵循CCES来学习判别特征，并基于聚类预测生成高置信度的伪标签。在第二阶段，我们利用这些伪标签进行双层微调。在实例层面，我们通过从负样本集中排除具有相同伪标签的对来减少假阴性。在簇层面，我们通过使用类平衡的自标记损失来改进分配质量并实现平衡，每个样本的权重与其高置信度伪标签的频率成反比。我们在四个具有挑战性的数据集上进行了实验，所提出的方法超越了许多先进的深度聚类算法，证明了样本对构建和微调策略的有效性。

引言

图像聚类是计算机视觉领域中的一个重要任务。其目标是将相似的图像分组到不同的簇中。通过图像聚类，我们可以发现图像数据集中的潜在特征和结构，这有助于我们更好地理解图像数据，以便应用于图像检测（Chauhan等人，2018年；Shang等人，2018年）和图像分类（Sharma等人，2018年；Guo等人，2017年）等领域。此外，聚类在生物医学（Li等人，2023b年；Li等人，2023a年）、时间序列（Zhong等人，2023年；Yang等人，2022年）和图聚类（Liu等人，2023年；You等人，2020年；Zhong等人，2021年）等各种领域中也发挥着不可替代的作用。

传统的聚类方法，如K-means（MacQueen，1967年）和谱聚类（SC）（Zelnik-Manor和Perona，2004年），已经展示了它们的独特能力。然而，这些方法在处理高维数据和大规模数据集时存在计算复杂度高的问题。随着特征提取能力的不断提高，深度聚类已经显示出有希望的结果。例如，深度嵌入式聚类（DEC）（Xie等人，2016年）通过使用自动编码器进行特征提取，并引入基于KL散度的聚类函数，为聚类领域带来了新的思路和技术。联合无监督学习（JULE）（Yang等人，2016年）将图像聚类和表示学习整合到一个端到端优化的模型中，通过统一的加权三元组损失函数实现了更强大的聚类表示。部分置信度最大化（PICA）（Huang等人，2020年）将最大化边际聚类的概念应用于深度学习范式，通过分区不确定性指数量化聚类结果的全局置信度，并解决了模型训练期间由自估计伪标签引起的错误传播问题。

最近，对比学习在自监督领域展示了一种独特的特征提取范式。SimCLR（Chen等人，2020年）采用数据增强策略，如随机裁剪和颜色失真，生成不同的视图。它最大化同一样本不同视图之间的相似性，同时最小化不同样本视图之间的相似性，以获得高质量的特征。关系自监督学习（ReSSL）（Zheng等人，2021年）在教师模型中使用弱数据增强，施加相对较小的扰动，为学生模型提供更精确的相似性指导。此外，内存缓冲区的大小在提高性能方面起着重要作用。ContrastiveCrop（Peng等人，2022年）提供了一种新的裁剪策略，利用语义感知的定位和中心抑制采样，提高了对比学习的有效性。

鉴于对比学习的出色特征提取能力，将对比学习与深度聚类结合的趋势日益增加。对比聚类（CC）（Li等人，2021年）将对比学习和聚类任务整合到一个端到端框架中，并通过批量优化应用于大规模在线场景。最近邻对比聚类（NNCC）（Xu等人，2022年）使用对比学习的交替更新方法和邻居关系挖掘来学习更有效的特征表示，从而获得更准确的图像聚类结果。异构三流聚类网络（HTCN）（Deng等人，2023b年）采用了一个没有负样本的三流架构。它通过两个在线网络同时预测目标网络的实例表示，并强制三个网络的预测聚类分布保持一致。CCES通过利用ContrastiveCrop进行数据增强和最近邻挖掘来构建正样本对，从而增强表示。这些组件被整合到一个端到端的在线聚类框架中，以改进表示学习。

虽然我们之前的工作CCES已经展示了有希望的结果，但其框架仍有进一步改进的空间。具体来说，在CCES中，同一类的不同样本的增强仍然被隐式地视为负样本对，这是从SimCLR继承的设计，但对聚类来说可能不是最优的。为了解决这一限制，并更好地使表示学习与聚类对齐，我们提出了强化语义信息获取用于对比聚类（RSACC）。在CCES的基础上，RSACC引入了一种双层微调策略，利用高置信度聚类预测作为伪标签。该策略通过排除假阴性对来细化实例层面的对比学习，并通过类平衡的自标记损失来增强簇层面的分配，从而提高聚类性能。我们在四个公共图像数据集上进行了广泛的实验，证明了RSACC的优越聚类性能。总之，本文的主要贡献如下：

(1) 在我们之前的工作CCES的基础上，我们引入了一种伪标签引导的双层微调策略。在实例层面，我们通过从负样本集中排除具有相同高置信度伪标签的对来减少对比学习中的假阴性。

(2) 为了提高簇层面的分配质量和平衡，我们引入了一种类平衡的自标记损失，该损失根据样本的高置信度伪标签的频率对其进行加权。

(3) 实验结果证明了我们方法的优越性。与最近的研究相比，RSACC获得了更好的聚类性能。

章节片段

对比学习

早期的对比学习方法多种多样，但缺乏标准化框架。例如，实例区分（InstDisc）（Wu等人，2018年）采用非参数分类和噪声对比估计来学习特征表示。同时，对比预测编码（CPC）（Oord等人，2018年）使用自回归模型来预测潜在空间中的未来，从而从高维数据中提取有用的表示。

方法

算法框架如图1所示。首先，与传统的对比聚类数据增强方法不同，我们采用数据增强方法ContrastiveCrop来生成增强样本。然后，这些样本通过主干网络映射到潜在空间。为了增加更多的语义交互，我们采用了最近邻挖掘方法。随后，在行空间和列空间中进行实例层面和簇层面的对比学习。

数据集

我们在四个数据集上进行了实验，并在表1中进行了总结，这些数据集包括CIFAR-10（Krizhevsky，2009年）、CIFAR-100（Krizhevsky，2009年）、STL-10（Coates等人，2011年）和Tiny-ImageNet（Le和Yang，2015年）。具体来说，在使用CIFAR-100时，为了与以前的工作保持一致，我们使用了它的20个超类而不是全部100个类别。

以下是每个数据集的简要描述：

CIFAR-10包含60,000张32 × 32大小的RGB图像，这些图像均匀分布在10个类别中

结论

在本文中，我们提出了一种名为RSACC的对比聚类方法。RSACC采用了一种新的样本对构建方法和微调对比学习方法进行聚类。首先，通过样本及其最近邻构建样本对，可以为训练提供更多的语义扰动。在训练过程中，我们使用伪标签来微调实例层面和簇层面的对比学习，从而增强语义信息并减少

CRediT作者贡献声明

崔鹏飞：撰写——原始草稿。吴浩伟：撰写——原始草稿。尹军：撰写——审阅与编辑，监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（62476166）和上海浦江计划（22PJD029）的支持。