在无监督的领域适应过程中，保持潜在域的结构特征以及目标域的类别多样性

《Neurocomputing》：Manifold structure preservation of latent domain and category diversity of target domain for unsupervised domain adaptation

　　王梦茹|刘金雷
中国山东省烟台市烟台大学计算机与控制工程学院，264005

摘要
无监督领域适应（UDA）旨在减少源域和目标域之间的分布差异。现有方法面临两个主要挑战：首先，它们过度关注全局特征对齐，而忽视了类别之间潜在结构关系的保持，从而导致局部信息的丢失；其次，目标域中的类别不平衡严重影响了模型的迁移能力。为了解决这些问题，本文提出了一种新方法，称为“目标域潜在结构保持与类别多样性”（MSP-CD）。该方法包含两个关键模块：

1. **潜在结构保持模块**：通过构建基于余弦相似度的跨域样本邻接矩阵来构建潜在域空间。结合核空间对齐策略，该模块实现类别条件下的分布匹配，并有效保持局部拓扑结构。
2. **类别多样性增强模块**：引入基于置信度的焦点优化和自适应类别加权机制，动态增加低频类别的权重，以减轻类别不平衡，促进更平衡和多样化的类别特征学习。广泛的实验结果表明，所提出的MSP-CD方法在多个基准数据集上的表现显著优于现有算法。

引言
在计算机视觉中，高性能模型通常依赖于大规模的标注数据集。然而，在实践中获取足够的高质量标注通常成本高昂且耗时[1]。迁移学习（TL）作为一种有效策略，通过利用源域的知识来提升目标任务的性能[2][3][4]。作为TL的一个关键子领域，领域适应（DA）旨在缓解源域和目标域之间分布差异导致的性能下降[5]。由于领域差异，直接迁移源模型往往会导致性能大幅下降[6][7][8]，而从头开始训练目标模型则受到高昂标注和计算成本的限制[9]。因此，在分布差异下高效地适应源模型已成为一个核心研究挑战。
无监督领域适应（UDA）旨在在没有目标域标签的情况下缓解领域差异[10]。现有方法主要分为对抗学习[11][12]和分布对齐[13]两大类。对抗方法使用对抗训练的领域判别器和特征提取器来对齐特征，而对齐方法则使用MMD[14]或Wasserstein距离[15]等指标来最小化分布差异。伪标记、自监督和熵最小化等改进进一步提高了模型的泛化能力。
尽管上述方法取得了显著进展，但它们大多仅关注全局分布对齐，往往忽略了潜在拓扑结构的保持——即样本之间的内在关系和邻近信息。具体来说，拓扑一致性要求：如果两个样本在源域中语义相似且彼此接近（例如两种不同的狗），即使在经过领域对齐后，它们的特征表示也应保持邻近。如果这些局部结构未被保留，可能会导致负迁移现象，模型可能会为了最小化全局领域差异而扭曲内在的类别流形，从而导致特征混淆和判别信息丢失，如图1所示。最近的方法（如CLAN[16]和SDAT[17]）尝试引入类别级别的对齐机制或平滑处理来缓解这一问题，而DASP[18]则通过高阶统计特征来建模类间空间关系。然而，这些方法往往无法有效保持源域和目标域之间的结构一致性，使得相似类别容易被错误分类。
同时，类别不平衡进一步加剧了迁移性能的下降[19]。
为此，我们提出了“目标域潜在结构保持与类别多样性”（MSP-CD）方法，该方法包含两个主要模块：潜在结构保持（MSP）和目标域类别多样性（CD）。MSP模块通过构建跨域样本邻接矩阵来显式建模局部流形结构，保持源域和目标域的拓扑一致性，从而避免特征空间的过度变形；CD模块结合高置信度样本过滤和类别自适应加权机制，增强对低频类别的关注，缓解类别不平衡问题，并提升模型的泛化能力。

本文作出以下五项贡献：
(1) 为了解决UDA的挑战，我们提出了“目标域潜在结构保持与类别多样性”（MSP-CD）框架。如图2所示，MSP-CD包括目标域类别多样性和潜在结构保持两部分。该框架在类别和领域层面都对源域进行对齐，增强了未标记样本预测的多样性，从而有效提高了分类准确性。
(2) 为了解决类别不平衡问题，我们在类别多样性模块中引入了高置信度样本选择和类别加权机制。通过对选定的高置信度目标样本进行类别统计，并通过平滑和归一化操作动态生成类别权重（公式13），该方法在训练过程中增强了低频类别的学习，有效缓解了类别偏见问题。
(3) 为了解决跨域学习中源域和目标域样本之间的结构差异问题，我们采用了潜在结构保持技术。该方法利用潜在域作为桥梁，利用高级深度特征生成高质量的潜在域样本，同时保持样本之间的拓扑结构。如公式（23）所示，潜在域编码了两个域之间的结构关系，确保跨域特征的一致性，同时最小化域间差异。
(4) 为了全面评估MSP-CD模型的有效性，我们进行了广泛的消融研究和参数分析。如表3、表4、表5、表6所示，我们在四个基准数据集（Image-CLEF、Office-31、VisDA-2017、Office-Home）上进行了实验。实验结果表明，我们的方法在各种评估指标上均优于现有方法。

**无监督领域适应**
无监督领域适应（UDA）旨在在没有目标域标签的情况下缓解领域差异问题。UDA方法通常分为两类：第一类是对抗领域适应（ADA），其灵感来自生成对抗网络（GANs）[20]；ADA训练领域判别器区分源域和目标域，同时鼓励模型生成难以区分的特征[21]。

**问题陈述**
在UDA场景中，我们有两个域：一个包含来自源域的带标签样本及其对应标签，另一个包含来自目标域的未标签样本。源域和目标域的概率分别为p1和p2。UDA的基本假设是不同域的数据分布不同，尤其是在p1≠p2时。为了有效迁移知识，我们使用了一个由特征提取器组成的模型。

**数据集**
如表1所示，我们采用了多种UDA方法来评估MSP-CD在不同任务（Image-CLEF、Office-Home、Office-31、VisDA-2017）上的性能。

**结论**
本文提出了一个统一的框架——“目标域潜在结构保持与类别多样性”（MSP-CD），通过解决两个关键挑战来改进无监督领域适应：保持目标域的类别多样性和跨域流形结构。类别多样性模块缓解了标签不平衡和伪标签偏见，促进了预测多样性；潜在结构保持模块确保了语义一致性。

**局限性与未来工作**
尽管MSP-CD在无监督领域适应方面表现优异，但仍存在改进空间。当前方法侧重于保持潜在流形结构和提升类别多样性，但在极端领域差异和大规模数据下的适应性和稳定性仍需进一步研究。未来的工作将致力于提升泛化和鲁棒性，扩展其适用于复杂和动态环境的能力。

**作者贡献声明**
王梦茹：撰写初稿、可视化处理、验证、软件开发、数据调查、数据整理。
刘金雷：审稿与编辑、监督、项目管理、方法论设计。

**利益冲突声明**
作者声明没有已知的可能影响本文研究的财务利益或个人关系。

**致谢**
我们衷心感谢审稿人的宝贵意见，这将极大促进我们论文的改进。本研究还得到了国家自然科学基金（62572420、62273290、61572419）的资助。

王梦茹出生于2001年，现任烟台大学硕士研究生，主要研究方向基于领域适应的图像分类，特别关注提升模型在不同域间的泛化和准确性。