《Neurocomputing》：Auxiliary domain joint adaptation and selection for cross-domain few-shot object detection
编辑推荐：
跨域 few-shot 目标检测中引入辅助域联合训练可能导致负迁移，其效果高度依赖目标与辅助域的配对方式。本文提出基于源域锚定校准的训练-free特征框架，通过量化目标-辅助域相关性并分离源域依赖性，实现可靠辅助域选择，实验表明该方法在标准基准和工业缺陷数据集上均有效。
Nianyin Zeng|Zeyu Li|Zerui Cheng|Da Teng|Peishu Wu|Maozhen Li
厦门大学仪器与电气工程系，中国福建361005
摘要
跨域少样本对象检测（CD-FSOD）旨在将在一个大规模源域上预训练的检测器转移到只有少量标注样本的目标域。虽然近期研究强调了架构设计和目标端的增强，但在目标适应过程中辅助标注域的影响仍不甚明了，尤其是在它们是帮助还是导致负面迁移方面。在这项工作中，我们展示了与辅助域联合训练可以影响目标性能，但结果高度依赖于特定的目标-辅助配对，并且通常会导致负面迁移。为了在不进行耗尽性重新训练的情况下预测辅助域的效果，我们提出了一个无需训练的特征框架，该框架通过源域锚定来衡量目标-辅助的相关性并进行优化。通过明确引用预训练的源域，这种校准有助于区分目标依赖的效果和辅助兼容性，从而更可靠地分析不同目标下的辅助效益。在标准的CD-FSOD基准测试上的实验表明了一致的改进。在工业航空发动机缺陷数据集上的额外结果进一步表明，在领域差异较大时，辅助域的选择特别有效，而轻量级的RPN微调在提议质量受限时可以提供补充收益。
引言
少样本对象检测（FSOD）通常遵循两阶段迁移范式：首先在大规模标注的源域（例如MS-COCO）上预训练检测器，或者从基础模型开始初始化，然后通过微调或线性迁移将其适应到每个新类别只有少量标注样本的目标域[1]、[2]、[3]。这种范式很有吸引力，因为它可以在边界框标注稀缺的领域中进行部署，同时利用从大规模数据中学到的丰富视觉表示。
这一工作流程背后的一个关键假设是，在领域转换的情况下，源表示仍然具有足够的迁移能力[4]、[5]。然而，在跨域少样本对象检测（CD-FSOD）中，目标数据在外观、成像条件和对象特征上往往与源数据有所不同，使得这一假设在实践中变得脆弱。如图1所示，相同的少样本适应协议在不同目标上的表现可能大相径庭。在接近领域的情形下，源域的先验知识具有很高的兼容性；而在跨域情形下，表示必须超越其已学习的内容进行外推。当领域差异较大时，源域中具有区分性的特征可能无法捕捉到对目标重要的线索，而目标标注的稀缺性进一步放大了这种不匹配。工业缺陷检测提供了一个典型的例子：微妙的边界、重复的纹理和低对比度的缺陷经常主导视觉证据，而源域的预训练先验则是基于以对象为中心的自然图像形成的。
为了缓解这种退化，现有研究大致可以分为三个方向。第一类侧重于方法中心的适应，通过改进检测器架构、学习目标或适应程序来提高从源域到目标域迁移的鲁棒性[6]、[7]、[8]、[9]、[10]。第二类强调数据中心的增强，包括更强的数据增强、风格迁移以及合成或检索增强数据，旨在在有限的标注下增加与目标域匹配的视觉模式的多样性[11]、[12]。第三类研究迁移能力和领域差异估计，提出基于特征的标准来表征跨域难度，并指导模型初始化或训练设计等决策[13]、[14]、[15]、[16]。
推理延迟也是工业部署和实际应用中的一个重要考虑因素。尽管这项工作关注的是适应过程中的辅助域选择，但模型压缩和计算加速技术为实际部署提供了补充方向[17]、[18]。特别是，张量分解方法在降低计算成本的同时保持了表示能力方面显示出有效性。这些技术有可能集成到CD-FSOD系统中，以解决实际部署场景中的推理延迟问题。
基于这些进展，我们观察到引入辅助域进行联合训练可能有助于提高目标域中的模型性能。辅助域指的是额外的标注数据集，它们既不是预训练的源域也不是目标域，但在目标适应过程中可以提供另一种数据分布。与大多数仅使用源域和目标域数据来改进迁移的现有CD-FSOD方法不同，我们考虑将超出源域和目标域的额外域分布作为补充形式的监督。这些辅助域可能与目标域具有相似的特征，也可能关系较小。这种方法在工业检测场景中特别有价值，因为目标数据往往与自然图像先验不同，而匹配不佳的辅助域很容易引发负面迁移[19]、[20]、[21]。如图2所示，我们提出了一个基于特征的评估框架，在联合适应之前估计辅助域的影响，从而实现有原则的辅助域选择，而不是无差别地包含所有辅助域。一个关键的观察是，目标域和辅助域之间的原始成对距离并不能在不同目标之间提供稳定的预测，因为相同的绝对距离在目标变化后可能对应于非常不同的收益模式。为了区分这些效应，我们引入了一个基于源域锚定的校准项，从而能够更可靠地预测辅助域的效益。
贡献总结如下：(1) 系统地描述了辅助域联合适应对跨域少样本对象检测的影响，揭示了强烈的目标-辅助依赖性和在大领域转换下的频繁负面迁移。(2) 通过根据预训练的源域校准目标-辅助相关性，开发了一个无需训练且考虑源域的辅助域选择标准。(3) 在标准的CD-FSOD基准测试和工业航空发动机缺陷数据集上的广泛评估表明了一致的改进和在不同目标域上的增强鲁棒性。
部分摘录
相关工作
在本节中，回顾了CD-FSOD和迁移学习的相关工作，主要涉及两个方面：模型架构和数据约束的改进。
提出的方法
在本节中，我们为CD-FSOD形式化了辅助域联合适应，并提出了一种无需进行额外训练即可选择辅助数据的标准。
实验结果与分析
本节评估了CD-FSOD的辅助域联合适应。首先描述了基准设置和数据集。然后针对所有目标-辅助对，使用验证了无需训练的指标。随后将基于分数的选择与基线进行了比较，包括在航空发动机缺陷数据集上的结果。
结论
本文研究了跨域少样本对象检测，并探讨了目标微调过程中的辅助域联合适应。结果表明，辅助监督高度依赖于目标，可能导致正面或负面的迁移。为了在不进行耗尽性重新训练的情况下预测这种行为，我们引入了三种互补的领域距离度量方法以及一个基于源域锚定的校准项，这提高了跨目标的可比性，并使得选择过程更加简单。
CRediT作者贡献声明
Nianyin Zeng：撰写——审阅与编辑、资源获取、概念化。Zeyu Li：撰写——原始草稿、软件、方法论、调查、形式分析。Zerui Cheng：可视化、验证、形式分析、数据管理。Da Teng：撰写——审阅与编辑、可视化、资源获取、形式分析。Peishu Wu：撰写——审阅与编辑、软件、方法论。Maozhen Li：撰写——审阅与编辑、软件、方法论。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
Nianyin Zeng（IEEE高级会员）1986年出生于中国福建。他分别于2008年和2013年在福建福州大学获得电气工程与自动化学士学位和电气工程博士学位。2012年10月至2013年3月，他在香港大学电气与电子工程系担任研究助理。2017年9月至2018年8月，他是韩国基金会设立的ISEF研究员。
