DN-TOD：在标签噪声环境中实现鲁棒的微小物体检测

微小目标检测中噪声标签的鲁棒性研究。提出DN-TOD方法通过类混淆校正和趋势引导学习策略解决类混淆和框偏差问题，在合成及真实数据集上验证有效。

　　

朱浩然|徐昌|杨文|张瑞祥|张彦|夏贵松

武汉大学电子信息学院，中国武汉，430072

摘要

由于微小物体的视觉特征有限且标注难度大，精确检测这些物体一直是模式识别领域的一个主要挑战，这通常会导致标签出现噪声。然而，现有研究大多假设标签是干净的，而在实际中，噪声标签会导致检测器过度拟合不准确的监督信息，从而降低性能。为了解决这个问题，我们提出了一种在标签噪声环境下进行鲁棒微小物体检测的方法，以适应更实际的应用场景。首先，我们系统地研究了各种类型噪声对网络训练的影响，揭示了微小物体检测器对类别偏移和不准确边界框的脆弱性。为了解决这些问题，我们提出了去噪微小物体检测器（DN-TOD），该检测器结合了类感知标签校正（CLC）方案和趋势引导学习策略（TLS）。CLC通过检测和过滤损坏的正样本来减轻类别偏移噪声，而TLS则通过样本重加权和边界框重建来对抗边界框噪声。在合成和真实世界的噪声微小物体检测数据集（例如AI-TOD-v2.0、DOTA-v2.0和VisDrone）上的综合实验验证了DN-TOD在各种类型标签噪声下的有效性。特别是，在AI-TOD-v2.0数据集上，DN-TOD在40%的混合噪声下将AP_0.5提高了4.9个百分点。数据集、代码和模型可在https://github.com/ZhuHaoranEIS/DN-TOD获取。

引言

微小物体的外观信息极其有限（小于16×16像素），由于其尺寸小和外观特征有限，在物体检测中带来了重大挑战。准确检测这些微小物体是推进自动化物体识别技术的关键障碍之一，这一领域受到了越来越多的关注[1]、[2]。为了解决这些挑战，越来越多的研究开始关注设计特定任务的物体检测方法，如RFLA [3]和Deep-NFA [4]。然而，微小物体检测的难度不仅体现在方法设计上，还体现在标注过程中。微小物体外观信息的有限性使得标注过程非常繁琐，导致数据标注中经常出现标签噪声问题。先前的研究[1]通过手动重新标注缺失的标签来揭示了标签噪声的这一难题，但其带来的好处并不能推广到更广泛的数据集。尽管现有的微小物体检测方法具有通用性，但不幸的是，它们都是基于干净数据集的假设构建的，因此在面对未知水平的标签噪声时效果大打折扣。在这项工作中，我们深入研究了微小物体检测中的标签噪声问题，并通过系统地研究不同类型标签噪声对微小物体检测的影响，然后提出了一种能够在未知标签噪声水平下进行鲁棒检测的新方法，从而填补了当前研究中的一个关键空白。

与图像分类相比，物体检测任务中的标签噪声类型更加多样和复杂，通常分为四种类型（缺失标签、额外标签、类别偏移和不准确的边界框）。在通用物体检测中，一些研究[5]、[6]假设所有类型的噪声都会出现，并同时处理所有类型的噪声，而其他研究[7]、[8]、[9]则专注于减轻最关键的噪声类型（不准确的边界框[8]、[9]）。相比之下，我们的方法首先研究了不同类型的标签噪声如何影响微小物体检测，考虑到微小物体与通用物体具有不同的特征[10]。通过研究，我们发现两种类型的噪声会显著降低微小物体的检测性能，即类别偏移和不准确的边界框。

为了实现抗噪声的微小物体检测，我们设计了去噪微小物体检测器（DN-TOD）。DN-TOD旨在减轻在未知噪声水平下类别偏移和不准确边界框对微小物体的影响。在这个过程中，双方都面临着不同的挑战。一方面，类不可知的标签校正方法[11]、[12]难以处理微小物体固有的类别不平衡问题。这种不平衡可能导致罕见类别被错误地分类为噪声样本，这对本来就稀缺的正样本尤其有害。另一方面，不准确的边界框会影响分类和回归。与通用物体检测中的相关研究[8]不同，我们发现微小物体的不准确边界框会显著降低分类性能。边界框与物体主体的偏移加剧了微小物体高质量正样本的稀缺性[3]，同时降低了分类准确性。

更具体地说，DN-TOD分别通过类感知标签校正（CLC）方案和趋势引导学习策略（TLS）来解决类别偏移和不准确的边界框问题。我们的方法概述如图1所示。具体来说，CLC模块可以分为类别混淆状态更新和噪声样本过滤两个部分。在更新阶段，我们设计了一个类感知动态置信矩阵（DCM）。DCM通过网络对不同类别的预测进行更新，动态编码不同类别之间的转移概率，为类别不平衡条件下的过滤阶段提供分类判别标准。在过滤阶段，我们遍历每个正样本的类别预测，并根据DCM和预测的置信度通过三个启发式规则识别噪声样本。我们丢弃已识别的噪声样本的学习内容，以过滤掉不准确的监督信息。

另一方面，鉴于不准确边界框带来的双重影响，我们提出同时增强检测器在分类和回归方面的鲁棒性。我们的设计基于对干净样本和噪声样本学习趋势差异的关键观察。如图2(b)所示，我们统计了合成噪声数据集中干净样本和噪声样本的平均置信度得分，发现干净样本的置信度呈逐渐上升的趋势，而噪声样本的置信度在训练过程中会波动在一个较低范围内。因此，学习趋势成为评估数据集中样本噪声状况的有力依据。对于分类任务，我们没有设置硬阈值来区分非噪声样本和干净样本，而是设计了一种趋势引导的重加权策略，利用趋势作为软标签来重新加权监督目标。对于回归任务，我们通过循环边界框重建策略来改进回归目标，这一策略受到深度神经网络对标签噪声具有一定鲁棒性的观察的启发，如图2(a)所示，网络在训练期间可以比噪声真实值做出更准确的预测（gt）。为了避免网络对噪声边界框的过度拟合，我们通过干净样本和原始gt的选择性集成预测来修正边界框标签。

本文的贡献有三个方面：

•

我们研究了不同类型标签噪声对微小物体检测的影响，并强调了两种严重损害检测性能的噪声类型：类别偏移和不准确的边界框。

•

我们提出了一种去噪微小物体检测器（DN-TOD），在面对标签噪声时能够进行鲁棒的物体检测。DN-TOD包括一个类感知标签校正（CLC）模块来减轻类别偏移，以及一个趋势引导学习策略（TLS）来纠正边界框噪声。

•

在合成噪声微小物体检测数据集（AI-TOD-v2.0、DOTA-v2.0和VisDrone）和真实世界标签噪声（AI-TOD）上的实验表明，我们的DN-TOD优于以往的方法，取得了最先进（SOTA）的结果。

本文的其余部分组织如下。第2节我们简要回顾了相关工作。第3节介绍了标签噪声对微小物体检测的定义及其影响，以及合成噪声数据集的构建方法。第4节详细介绍了DN-TOD。然后，我们在第5节验证了所提方法在不同类型噪声下的有效性，并在第6节进行了详细讨论。最后，我们在第7节总结了本文。

章节片段

微小物体检测

极有限的像素数量严重降低了通用物体检测器在微小物体检测上的性能，这激发了越来越多针对微小物体的专门研究。简而言之，我们可以将用于检测微小物体的方法分为以下几类。

多尺度表示是解决微小物体检测挑战的经典策略。在图像层面，ESOD [13]通过特征级的物体搜索进行多尺度初步筛选

初步

为了更好地理解物体检测中的标签噪声类型，我们首先提供了它们的定义。然后，我们通过在AI-TOD-v2.0上进行试点实验，研究了不同类型标签噪声对微小物体检测的影响。

方法论

如第3.3节所述，类别偏移和不准确的边界框等问题会导致网络性能急剧下降。因此，在本节中，我们介绍了专门为这些噪声类型设计的DN-TOD，以实现鲁棒性能。具体来说，为了处理类别偏移，我们设计了一个类感知标签校正方案来丢弃错误类别的样本。此外，我们提出了一种趋势引导学习策略来减轻不准确边界框的影响

实验设置

合成噪声数据集。为了验证我们的方法在微小物体上的效果，我们在具有最小平均绝对物体尺寸12.7像素的具有挑战性的AI-TOD-v2.0 [1]数据集上进行了主要实验和消融研究，该数据集包含28,036张图像。我们还在一个小物体数据集VisDrone2021 [43]和一个通用航空物体数据集DOTA-v2.0 [44]中验证了所提方法的有效性。我们按照第3.2节的方法模拟了噪声数据集。具体来说，我们模拟了各种噪声水平

讨论

在本文中，我们提出了一种名为DN-TOD的新方法，有效解决了微小物体检测中的噪声标签问题。通过专门针对两种主要类型的标签噪声——类别偏移和不准确的边界框，我们的方法显著提高了微小物体检测的鲁棒性。

为了解决类别偏移问题，我们引入了一种类感知标签校正（CLC）方案。与之前难以处理严重类别不平衡的方法[11]不同，CLC将状态更新和噪声处理分开

结论

在现实世界场景中，微小物体通常伴随着不准确的标注。为了解决这一挑战，我们打破了传统的干净数据集假设，研究了在标签噪声下的鲁棒微小物体检测。我们分析了网络对不同类型噪声的敏感性，并提出了DN-TOD来减轻它们的影响。在合成和真实世界的噪声数据集上的广泛实验证明了我们方法的鲁棒性和有效性。然而，在

未引用的参考文献

图6和10。

CRediT作者贡献声明

朱浩然：撰写——审稿与编辑、撰写——初稿、可视化、验证、方法论、研究。徐昌：撰写——初稿、可视化、验证、方法论。杨文：撰写——审稿与编辑、撰写——初稿、监督、资源管理、项目协调、研究、概念化。张瑞祥：撰写——初稿、验证、方法论。张彦：撰写——审稿与编辑、可视化、验证。夏贵松：

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了国家重点研发计划（项目编号2024YFF1401003）和中国国家自然科学基金（项目编号62271355）的支持。