编辑推荐：
无监督小样本学习通过预处理前景物体增强多样性并减少背景噪声，同时引入属性一致性约束提升模型性能，实验表明优于现有方法。
吴志平|怀连|刘通|尚官泽宇|李文斌|高阳|江兴群
中国南京大学新型软件技术国家重点实验室，南京 210008
摘要
无监督少样本学习（UFSL）旨在利用大规模未标记的辅助数据集来训练模型，以便在仅有少量标记样本的情况下识别新类别。通过基于情节的学习和基于实例判别的伪标记方法，并借助数据增强技术，已经取得了显著进展。然而，现有的UFSL方法常常受到“假阴性伪标记”问题的影响，即在实例判别过程中错误地将正样本标记为负样本，从而损害了表示学习的效果。在本文中，我们提出了一种“对象增强增强策略”，通过增强被识别的对象来增加正样本的多样性，同时抑制背景噪声，以减轻不可避免的假阴性的不利影响。此外，我们观察到现有的UFSL方法主要强调正样本之间的实例级一致性，而忽视了属性级一致性。因此，我们提出了“属性相关性一致性约束”来确保正样本之间的属性级一致性。在miniImageNet和tieredImageNet数据集上的广泛实验证明了我们方法的优越性能和可扩展性。
引言
少样本学习（FSL）是一个具有挑战性的问题，其目标是在仅有少量标记示例的情况下识别给定类别。现有的FSL工作[1]、[2]、[3]通常使用一个类别不相交但与领域相关的辅助集，其中包含丰富的标记数据，以促进目标少样本任务，这被称为有监督的少样本学习。然而，获取大规模标记的辅助集，特别是与领域相关的辅助集，需要巨大的成本和难度。因此，提出了无监督少样本学习（UFSL）[4]，该方法利用未标记的辅助集进行少样本任务，并引起了社区的广泛关注。
与有监督的FSL不同，UFSL无法访问任何标记数据进行训练。因此，UFSL的核心挑战是从未标记数据中学习有用的表示，并在有限的标记数据帮助下将这些表示泛化到新类别。现有的UFSL方法通常基于实例判别任务[5]，其中每个原始图像被视为一个伪类别。此外，还采用数据增强技术为每个伪类别生成多个转换后的样本。这意味着可以从有监督的FSL中应用情节训练机制[1]，通过利用这些伪标签来促进UFSL模型的训练[6]、[7]。因此，可以从未标记的辅助集中构建许多伪N-K少样本任务，并用于训练UFSL模型。在这方面，一些UFSL方法[8]尝试引入自监督学习，例如对比学习[9]、[10]，来解决UFSL问题。
然而，尽管基于实例判别的伪标签在增强UFSL模型的表示学习方面具有显著的能力，但“假阴性伪标记问题”在UFSL文献中很少被探讨。具体来说，在实例判别任务中，每个原始图像被视为一个单独的伪类别，不同的原始图像被视为不同的伪类别。因此，即使具有相同的语义类别，两个原始图像也会被错误地视为不同的伪类别，从而导致图1中所示的“假阴性伪标记问题”。假阴性误标记通常由两个相互关联的因素引起：（1）同一类别的不同实例中前景对象的显著性或呈现方式的变化，这会削弱模型区分对象级语义的能力；（2）背景干扰，这会破坏语义相似样本之间的关联，特别是在前景-背景关系没有得到稳健建模的情况下。总之，当语义相似的样本由于混淆的背景噪声或对象外观的差异而被错误地视为负样本时，就会发生假阴性。这个问题削弱了UFSL模型学习不同实例之间真实类别的共同语义知识的能力。此外，这个问题还会导致模型优化效果不佳，并减慢训练收敛速度。
为了解决这个问题，我们提出了一种“对象增强增强策略（OAS）”，该策略利用预训练的显著性对象检测（SOD）模块来提取并选择性地增强锚图像中的前景对象。值得注意的是，与之前使用预训练模型进行初始化的对比学习方法[11]类似，我们的辅助模块集成不会带来额外的开销。这种策略带来了两个关键好处：首先，它通过以对象为中心的转换增强了锚图像及其增强后的正样本之间的多样性；其次，通过减轻背景引起的噪声，使模型能够专注于前景对象的重要语义特征，从而更好地与真实语义类别对齐。通过在对比学习中优先考虑对象级语义，OAS有效地缩小了前景和背景表示之间的差距，从而缓解了由于语义相似实例中的背景变化而产生的假阴性问题。
我们进一步发现了现有UFSL方法的一个关键局限性：它们仅依赖实例级一致性来评估正样本对（特征向量）之间的相似性，这往往忽略了有价值的属性级信息。为了克服这一点，我们提出了“属性相关性一致性约束（AUC）”，该约束将基于协方差的正则化应用于情节UFSL任务，确保正样本对内的属性级一致性，同时增加负样本对之间的差异性。这种机制通过惩罚过度的属性重叠来促进正样本内部的连贯性和负样本之间的分离，从而将传统的全局特征一致性扩展到更细粒度的属性粒度。因此，AUC与实例级一致性相结合，增强了UFSL模型的训练效果，降低了语义接近的负样本之间分离不足的风险。
我们在多个基准数据集上展示了我们方法的有效性，并与其他最先进的方法进行了比较。我们的结果显示出比现有方法显著的改进，突显了所提出策略的潜力。
总之，我们在这项工作中的贡献如下：
- •
我们提出了一种“对象增强增强策略（OAS）”，该策略利用预训练的SOD模块来隔离和增强锚图像中的前景对象。这种策略在减少背景噪声的同时增强了正样本的多样性，从而缓解了UFSL中的假阴性伪标记问题。
- •
我们提出了一种“属性相关性一致性约束（AUC）”，它增强了正样本对内的连贯性和负样本对之间的差异性，同时也强制正样本对之间的属性级对齐。这超越了传统的全局特征一致性方法。
- •
我们的方法可以无缝集成到现有的UFSL基线中，无需进行架构修改或添加额外的标签。广泛的实验证明了其优越性，在多个基准测试中优于其他UFSL和自监督学习方法。
相关工作
相关工作
少样本学习（FSL）。 FSL旨在训练模型在数据稀缺的情况下发展精确的特征嵌入能力。模型通常在数据丰富的基础类别上进行预训练，然后转移到只有少量可用训练示例的新类别[12]。匹配网络[1]利用注意力机制和标记支持集的上下文信息来编码和分类未标记的查询图像。原型网络[2]
方法
本节首先介绍少样本学习和无监督少样本学习的基础知识。随后，我们详细介绍了提出的UFSL框架，包括对象增强策略和属性相关性一致性约束。最后，我们讨论了所提出策略和约束在各种方法中的通用性。
数据集和训练设置
数据集。我们在两个常用的UFSL分类数据集上进行实验，即miniImageNet [1]和tieredImageNet [35]。miniImageNet [36]是ImageNet [36]的一个子集，是一个用于图像识别的小型数据集。它包含100个类别，每个类别有600张图像，每张图像的分辨率为84x84。我们遵循之前工作中使用的数据分割策略[37]，将总共100个类别分为64个用于训练的类别、16个用于验证的类别和20个
结论
在这项工作中，我们解决了UFSL挑战，重点在于减轻在对比框架中相似实例被错误地视为不同实例的假阴性伪标记问题。我们提出的对象增强增强策略通过关注前景元素来丰富正样本的多样性，从而减少了误标记效应并提高了表示质量。此外，我们还实施了属性相关性一致性约束来促进一致性
CRediT作者贡献声明
吴志平：写作 – 审阅与编辑，撰写原始草稿，方法论，概念化。
怀连：写作 – 审阅与编辑，验证，监督，概念化。
刘通：写作 – 审阅与编辑，可视化，形式分析，概念化。
尚官泽宇：写作 – 审阅与编辑，验证，形式分析，概念化。
李文斌：写作 – 审阅与编辑，撰写原始草稿，方法论，调查，概念化。
高阳：
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
致谢
这项工作部分得到了广东省基础与应用基础研究基金会（2024A1515011340）、中国科学技术协会青年精英科学家资助计划（2023QNRC001）以及新型软件技术与产业化协同创新中心的支持。
