超越单一来源的对手：基于多样性的集成对抗训练在对象检测中的应用

《Knowledge-Based Systems》：Beyond Single-Source Adversaries: Diversity-Driven Ensemble Adversarial Training for Object Detectors

目标检测任务中的对抗样本攻击问题，传统单源对抗训练存在跨模型迁移攻击和计算成本高的缺陷。本文提出集成对抗训练框架，通过轮换使用多个对抗预训练的异构骨干网络生成多样性对抗样本，并结合渐进式学习策略缓解白盒鲁棒性下降问题。实验表明该方法在PASCAL VOC和MS-COCO数据集上黑盒攻击下的性能提升达7%。

　　

盛龙|董一斌|李硕豪|雷军|罗埃尔·勒乌斯|张军

中国长沙国防科技大学大数据与决策实验室，410073

摘要

目标检测是一项基础性的计算机视觉任务，具有广泛的实际应用，但它与分类任务一样容易受到对抗性样本的攻击。这些暴露出的漏洞已成为其实际应用的主要瓶颈。对抗性训练（AT）是应对此类威胁的最有效防御机制。然而，现有的目标检测对抗性训练方法依赖于从白盒模型生成的单一来源的对抗性样本，导致检测器仍然容易受到跨模型可迁移的对抗性扰动的影响。为了解决这个问题，本研究提出了一种基于集成框架的目标检测对抗性训练方法，该方法利用多个模型生成对抗性样本来丰富训练数据，并结合了一种精心设计的学习策略。具体来说，我们使用公开可用的对抗性预训练模型构建了一个多样化的辅助模型池，这些模型以轮询方式生成对抗性样本。这种丰富对抗性来源的操作有助于减轻特定架构的过拟合问题，并提高检测器的黑盒防御能力。此外，它绕过了传统方法中辅助模型所需的对抗性预训练步骤，有效降低了这一计算密集型任务的部署成本。此外，我们还引入了一种渐进式学习策略，以缓解与集成方法相关的白盒性能下降问题。在PASCAL VOC和MS-COCO数据集上的广泛实验表明，与单一来源的AT基线相比，我们的方法对黑盒攻击的鲁棒性显著提高，性能提升了多达7%。这项工作为提高目标检测模型对抗潜在实际攻击的韧性提供了宝贵的见解。代码和训练后的检查点可在以下链接获取：https://github.com/MonoDone/ODEAT。

引言

随着人工智能在现实世界应用中的迅速扩展以及深度学习计算能力的显著提升，针对目标检测等密集预测任务的研究进入了新的阶段。一个关键的关注点是设计能够抵御未知攻击并最小化安全风险的目标检测器，特别是在自动驾驶[1]、医疗辅助[2]和视频监控[3]等安全敏感领域。例如，对抗性攻击可以通过向输入图像添加微小且精心制作的扰动来误导神经网络分类器，而目标检测器同样容易受到对抗性样本的影响。这一漏洞已成为其实际应用的主要瓶颈。

已经提出了多种对抗性攻击的防御策略，包括对抗性训练[4]、对抗性净化[5]、对抗性检测[6]和防御性蒸馏[7]。然而，针对目标检测的这些方法的研究进展不如图像分类领域，因为检测任务涉及分类和边界框定位两个方面。尽管如此，对抗性训练仍然是最有效的防御方法。Goodfellow等人[8]提出了在训练过程中混合对抗性和干净样本的概念，以提高模型的鲁棒性。随后，Madry等人[9]提出了广泛使用的PGD对抗性训练方法，该方法通过迭代生成对抗性样本，显著提高了白盒环境下分类器的鲁棒性。

为了将标准的对抗性训练扩展到目标检测领域，张等人[10]首次探索了在多任务学习框架内利用分类和定位损失来生成高质量对抗性样本的方法，从而提高了检测器的鲁棒性。这一框架激发了更多关于目标检测对抗性训练方法的研究，包括考虑类别平衡的Class-Wise Adversarial（CWA）[11]、平衡干净样本和鲁棒准确性的RobustDet[12]、去除特征空间噪声并纠正信息的DCCP-Net[13]，以及研究检测器主干网络对提高鲁棒性的重要性[14]。

然而，当前的目标检测对抗性训练仍面临两个关键挑战：

•

现有的目标检测对抗性训练方法主要依赖于白盒模型，从单一来源生成对抗性样本。虽然这提高了白盒模型的鲁棒性，但仍然会产生跨模型可迁移的扰动，这些扰动仍可能攻击模型。如图1所示，在对DN-DETR检测器（使用ConvNeXt-T主干网络）进行黑盒攻击时，现有的ODDefense[14]的性能下降了6.3%。我们的方法避免了这种性能下降，其表现略优于标准检测器。

•

现有的集成对抗性训练方法在直接应用于目标检测任务时成本较高，使其不适用于实际部署。尽管双层异构集成[15]显著提高了鲁棒性，但它需要多次通过多个检测器进行前向传播，从而产生较高的训练成本。其多分支推理流程难以压缩，无法满足实时要求，使得在资源受限或在线场景中的部署变得具有挑战性。

为了解决这些问题，我们提出了一种基于多样性驱动的目标检测集成对抗性训练方法。这种方法可以视为传统集成对抗性训练（EAT）[16]在目标检测领域的扩展。与EAT的主要区别如下：首先，我们的方法不是训练多个检测器进行联合预测，而是在每次迭代中切换不同的主干网络和唯一的检测头，以生成多源、异构的对抗性样本。其次，为了降低检测器的训练成本，我们将免费的对抗性训练机制集成到了主干网络切换过程中，据我们所知，这是首次尝试将集成方法与免费对抗性训练相结合。最后，上述主干网络切换所需的辅助模型不需要预训练，从而降低了目标检测集成对抗性训练的成本。本工作的主要贡献如下：

•

我们构建了一个用于目标检测任务的集成对抗性训练框架。它利用架构上异构的、经过对抗性预训练的主干网络来开发一个多样化的辅助模型池。这种方法将检测器训练与对抗性样本生成分离，从而减轻了特定架构的过拟合问题，并提高了检测器对抗黑盒攻击的鲁棒性。

•

我们提出了一种渐进式的免费对抗性训练策略，在训练过程中逐步增加重放次数和对抗性扰动预算。这实现了一种从“简单”到“困难”逐步学习的课程学习方法，从而缓解了提高黑盒对抗性防御能力时通常出现的白盒性能下降问题。

•

在PASCAL VOC和MS-COCO数据集上的广泛对比实验表明，与单一来源的AT基线相比，我们的方法在黑盒攻击场景下显著提高了模型的鲁棒性。它在干净样本识别准确性和鲁棒性之间实现了最佳平衡。

章节片段

分类的集成对抗性攻击

关于集成攻击的研究已经远远超出了其基础的概念验证工作，其目标是提高模型的鲁棒性。早期的工作[17],[18],[19]首次证明了这一范式的可行性，展示了针对实际系统的成功攻击以及复合防御的脆弱性。后续的发展分为两个主要方向：优化模型空间内的集成和扩展集成的概念。

实现

本节介绍了一个用于目标检测的集成对抗性训练框架，包括两个模块：一组鲁棒的主干网络和一种渐进式的免费对抗性学习策略。首先，我们对问题进行了正式描述，然后逐步详细介绍了我们的方法。

实验

在本节中，我们首先介绍了实验设置，然后展示了与现有方法的比较结果实验，并最终讨论了所提出方法的消融研究和扩展分析。

讨论

通过集成策略训练的模型通常在面对针对自身的白盒攻击时表现出较低的鲁棒性，相比之下，使用强PGD攻击通过ODDefense训练的模型则表现更好。这种现象不仅仅是“参数适应不良”的问题，而是由于白盒鲁棒性和黑盒鲁棒性之间的权衡所导致的“固有特性”。一方面，ODDefense迫使模型在最陡峭的方向上建立防御机制

结论

本研究通过提出一种新的集成对抗性训练框架，解决了现有目标检测对抗性训练方法在黑盒攻击下的性能下降问题。我们的方法的核心是从多个经过对抗性预训练的主干网络构建一个辅助模型池。这促进了对抗性来源的多样性，从而提高了检测器的黑盒对抗鲁棒性，而无需修改检测器架构。

CRediT作者贡献声明

盛龙：撰写——原始草稿、可视化、验证、资源管理、方法论、调查、形式分析、概念化。董一斌：撰写——审阅与编辑、可视化、软件开发、项目管理、方法论、形式分析、数据整理。李硕豪：撰写——审阅与编辑、监督。雷军：撰写——原始草稿、监督。罗埃尔·勒乌斯：撰写——审阅与编辑、监督。张军：撰写——审阅与编辑，

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。