TranSAC：一种基于任务特性和领域共性的无监督迁移性度量方法

《Pattern Recognition》：TranSAC: An unsupervised transferability metric based on task speciality and domain commonality

本文提出TranSAC，一种基于任务特异性和领域公共性的无监督迁移度量方法，解决了现有方法依赖标签和忽视领域公共性的问题，适用于预训练模型和领域排名任务，并通过实验验证其有效性。

　　

钱山占|曾晓军|王倩

曼彻斯特大学计算机科学系，牛津路，曼彻斯特，M13 9PL，英国

摘要

在迁移学习中，一个基本问题是迁移性能的评估，即在不进行训练的情况下衡量迁移效果。现有的评估指标存在两个问题：1) 需要目标领域的标签；2) 仅关注任务的特殊性，而忽略了同样重要的领域共性。为了克服这些限制，我们提出了TranSAC，这是一种基于任务特殊性和领域共性的迁移性能评估指标，能够捕捉类别之间的分离以及领域之间的相似性。其主要优点是：1) 无需监督；2) 不需要微调；3) 适用于有源和无源迁移场景。为此，我们研究了基于从预训练模型中提取的固定表示的迁移性能的上界和下界。理论结果表明，迁移性能由基于熵的量来表征，这些量自然反映了任务的特殊性和领域的共性。这些见解激发了TranSAC的设计，它整合了这两个因素以提高迁移性能。我们在12个目标数据集上使用了36个预训练模型进行了广泛的实验，包括监督式CNN、自监督式CNN和ViT。实验结果证明了领域共性和任务特殊性的重要性，表明TranSAC在预训练模型排名、目标领域排名和源领域排名方面优于现有的最先进指标。

引言

迁移学习通过利用从相关源领域学到的知识来提高目标任务的学习效果[1]，[2]。然而，迁移性能往往会有所变化，甚至在强制迁移的情况下可能会下降[3]。为了避免这种情况，提出了迁移性能评估方法，以在不进行微调的情况下分析预测迁移性能[4]，[5]。这些指标有助于识别最有前景的预训练模型或源目标领域对，从而避免负面迁移，并优化计算资源以实现有效和高效的适应[6]。

已经提出了几种迁移性能评估指标，以在不需要微调的情况下估计迁移性能。这些方法包括基于特征冗余的方法（H-score [7]）、基于经验条件分布的方法（LEEP [4]）、基于标签证据的方法（LogME [6]）、基于领域-任务分解的方法（OTCE [8]、F-OTCE[9]、JC-OTCE [9] 和 WDJE [10]）、基于类别标签的条件下的目标表示可分离性方法（GBC [5] 和 SFDA [11]）、PAC-Bayesian 理论（PACTran [12]）、基于类别重叠的方法（TransRate [3]）以及基于特征分解的方法（DISCO [13]）。最近的研究还探讨了目标领域的神经崩溃现象（NCTI [14]、Face [15]），以及用于视觉-语言模型选择的迁移性能评估方法，如 SWAB [16]。

尽管取得了这些进展，但仍有一些基本问题需要解决。第一个问题是，现有的指标主要关注任务的特殊性，即目标类别的可分离性，而忽略了领域共性，即源领域和目标领域之间的相似性。较高的任务特殊性（表现为特征冗余减少[7]、类别重叠降低[12]或类别可分离性增强[5]、[11]）通常与更好的迁移效果相关。然而，如果不考虑领域共性，这些度量可能会产生误导：相似的领域有助于成功的迁移，而较大的领域差异可能导致负面迁移。因此，一个有效的迁移性能指标应该同时考虑这两个因素以进行准确的预测。

第二个问题是关于无监督迁移性能评估的研究很少。在实际情况中，由于标签收集的成本很高，通常会将预训练模型迁移到未标记的目标领域[17]。在这种情况下，无监督迁移性能指标变得至关重要，因为它们可以在没有目标标签的情况下提供估计，从而在实践中更具应用性。然而，如表1所示，现有的指标通常依赖于目标标签，这在无监督环境中是不可行的，因此限制了它们的实际应用。

上述分析表明：1) 在迁移性能评估指标中应该同时考虑任务特殊性和领域共性；2) 应该提出一种用于无监督迁移性能评估的指标。然而，这些任务并不容易完成。无监督迁移性能评估比有监督的更具挑战性，因为我们缺乏关于目标任务的明确信息。此外，虽然同时考虑领域共性和任务特殊性是直观的，但严格证明这一直觉需要形式化的理论分析，并清楚地展示理论发现如何与这两个因素相对应。

为此，我们研究了基于从预训练模型中提取的固定表示的迁移性能的上界和下界。这些界限涉及四个关键的熵术语：条件熵$H\left(\hat{Z}\right|T)$$H\left(\hat{Z}\right)$$H\left(\hat{Z}\right)$，给定目标表示 T 和目标预测 $\hat{Z}$。这些术语可以解释为：(1) 较低的 $H\left(\hat{Z}\right|T)$ 和较低的 表示较高的任务特殊性；(2) 较高的 H(T) 表示较高的领域共性；(3) 较高的 $H\left(\hat{Z}\right)$ 表示更好的源模型性能。基于这些理论见解，我们开发了一种基于任务特殊性和领域共性的无监督迁移性能指标（TranSAC），通过结合 $H\left(\hat{Z}\right|T)$ 和 H(T) 来同时考虑任务特殊性和领域共性以进行迁移性能评估。

我们的贡献总结如下：•

我们提出了一种基于领域共性和任务特殊性的无监督迁移性能指标 TranSAC。其主要优点是：1) 无需监督；2) 不需要微调；3) 适用于预训练模型排名和源/目标领域排名任务。据我们所知，这是首次尝试无监督迁移性能评估。

•

我们基于从预训练模型中提取的固定表示，提供了迁移性能的上界和下界，并解释了与任务特殊性和领域共性相关的熵术语。这种解释使我们能够量化它们对迁移性能的影响，并为 TranSAC 的设计提供了理论依据。

•

我们在12个目标数据集上使用了36个预训练模型（包括监督式CNN、自监督式CNN和ViT）进行了广泛的实验。结果强调了领域共性和任务特殊性的重要性，表明 TranSAC 在目标领域排名、预训练模型排名和源领域排名任务中优于现有的最先进指标。

相关工作

相关研究

已经开发了多种分析指标来评估迁移性能，以便在不需要训练的情况下预测迁移效果。例如，H-score [7] 使用目标标签和目标表示来估计迁移性能。NCE [18] 和 LEEP [4] 使用条件熵和经验条件分布来估计迁移性能。LogME [6] 通过计算目标的最大值来评估迁移性能

初步

问题设置 假设有一个源领域 $D_s$ 和一个目标领域 $D_t$，每个领域分别包含输入-标签对 (x, z) 和 (x, y)。标签空间定义为 $z\in \{\mathrm{1<mo>,\dots </mo><mo>,</mo><mi>K\}</mi>}$ 对于源领域，以及 $y\in \{\mathrm{1<mo>,\dots </mo><mo>,</mo><mi>C\}</mi>}$ 对于目标领域。目标数据集表示为 ${(x_i,y_i)}_{i=1}^n$。首先在 $D_s$ 上训练一个源模型 M_s（θ_s, h_s），通过最小化交叉熵损失。特征提取器 θ_s 将输入 x 映射到一个潜在表示 $t={\theta }_s$，分类器 h_s 输出一个 K

实验设置

TranSAC 在三个任务上进行了评估：(1) 预训练模型排名；(2) 目标领域排名；(3) 源领域排名，通过测量经验迁移性能和指标分数之间的相关性。对于预训练模型和目标领域排名，我们采用了 Shao 等人的经验迁移性能评估方法[11]，其中所有预训练模型都在每个目标数据集上通过超参数扫描进行了微调。对于源领域排名，每个模型通过联合更新

结论

在这项研究中，我们提出了 TranSAC，这是一种基于理论的无监督迁移性能指标，它同时考虑了领域共性和任务特殊性。与许多现有指标不同，TranSAC 不需要目标标签，使其在资源有限或无源场景中具有实用性。我们通过在12个目标数据集和36个预训练模型（包括监督式CNN、自监督式CNN和ViT）上进行的广泛实验验证了 TranSAC。

CRediT 作者贡献声明

钱山占：写作 - 审稿与编辑，撰写 - 原始草稿，可视化，验证，软件，资源，方法论，调查，形式分析，概念化。曾晓军：写作 - 审稿与编辑，监督，资源获取，概念化。王倩：写作 - 审稿与编辑，验证，形式分析。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。