具有层次注意力引导的环境感知对抗性伪装攻击

《Knowledge-Based Systems》：Environment-Aware Adversarial Camouflage Attacks with Hierarchical Attention Guidance

针对DNN检测器多视角物理对抗伪装攻击，提出集成环境感知渲染、注意力优化和混合元启发式算法的框架。通过通用纹理生成、多环境因素模拟及跨尺度注意力调控，显著提升攻击成功率（ASR达70.5%）和环境鲁棒性（复杂天气下ASR 68.7%），超越现有方法9-10%。

　　

李俊|唐玉龙|任亚伟|沈丽艳

北京信息科技大学计算机科学学院，北京，102206，中国

摘要

基于深度神经网络（DNN）的检测器极易受到物理对抗性伪装的影响，尤其是在多视角环境下，这对车辆检测系统构成了严重威胁。现有的基于可微分渲染的攻击方法通常存在两个主要限制：（1）现有方法在渲染过程中无法捕捉复杂的环境特征，从而削弱了物理攻击的稳定性；（2）当前的基于注意力机制的攻击策略无法确保对多尺度目标的一致性攻击，从而限制了对抗性伪装的迁移能力。为了解决这些问题，我们提出了一种结合迁移性、鲁棒性和通用性的对抗性伪装生成方法。首先，我们开发了一种环境特征渲染器，通过融合深度图来准确合成多环境图像，显著提高了在复杂环境扰动下的攻击鲁棒性。其次，我们引入了一种基于注意力的攻击优化策略，确保了对不同尺度目标的一致性攻击，从而大幅提高了攻击的迁移能力。第三，我们开发了一种基于元启发式的纹理改进策略（MTIS），该策略结合了鲸鱼优化算法（WOA）和蛾火优化算法（MFO），在降维的潜在空间内进行优化，以避开复杂非凸搜索空间中的局部最优解。与依赖于特定车辆纹理的先前方法不同，我们的框架生成的图案具有通用性，不依赖于具体模型。在六个主流对象检测器（例如Yolov5、Faster R-CNN）上的广泛实验表明，我们的方法在理想条件下的平均攻击成功率（ASR）为70.5%，在恶劣环境（例如雨、雾、雪、夜间）下仍能保持68.7%的ASR，比现有的最先进物理攻击方法高出9-10%，显示出更强的迁移能力和鲁棒性。

引言

近年来，深度神经网络（DNN）在计算机视觉领域取得了显著进展，在图像分类、对象检测和语义分割等任务中表现出强大的性能。这些模型越来越多地应用于实际场景，包括面部识别系统和自动驾驶。然而，许多研究表明，DNN对精心设计的对抗性样本非常脆弱[1]，[2]，这些样本通过向输入数据引入微不可见的扰动来诱导错误的预测。

根据实现方式的不同，对抗性攻击可以分为数字域[2]，[3]，[4]，[5]，[6]和物理域[7]，[8]，[9]，[10]，[11]，[12]，[13]，[14]攻击。数字域攻击通常涉及对输入图像添加微小的、不可见的像素级扰动，而物理域攻击则通过操纵对象的视觉外观、表面纹理或环境背景来欺骗模型。与数字攻击相比，物理攻击面临更大的挑战，因为需要在不同的视角、距离和复杂的环境条件（如不同的天气或光照）下保持鲁棒性。

传统的数字攻击通常会微妙地修改整个图像，而物理攻击通常侧重于局部扰动，以实现实际应用，例如可打印的对抗性补丁[9]。尽管早期的二维（2D）对抗性补丁取得了一些成功，但在多视角条件下的效果显著下降。相比之下，三维（3D）物理对抗性攻击通过更准确地模拟真实世界场景，提供了更好的跨视图泛化能力。然而，大多数现有工作仅限于简化的室内环境或缩放模型[15]，导致对真实世界复杂室外场景的泛化能力较差。

当前最先进的3D物理攻击方法在不同环境条件下的鲁棒性仍然存在问题。这些方法通常使用基于目标检测模型的损失最大化来将优化的对抗性纹理应用到对象表面（例如车辆）上。然而，这种渲染过程通常忽略了对象的自然环境线索，如自然光照和天气反射，这在动态条件（例如雨、雾或不同照明）下会削弱伪装效果。如图1所示，FCA [12]和ASA [16]等方法在这种设置下的性能明显下降。此外，现有的3D物理攻击技术严重依赖于特定对象的UV纹理图，限制了对抗性纹理在不同类别间的迁移能力。为特定车辆模型优化的方法往往无法泛化到其他类型（例如公交车或越野车），从而降低了其在实际异构环境中的适用性。最后，基于注意力的对抗性攻击方法通常在层间聚合注意力，而没有考虑每层的不同尺度敏感性。如图2所示，这一限制在基于无人机的图像中变得至关重要，因为多尺度感知是必不可少的。因此，当前方法在应对空中视角遇到的各种对象尺度时效果不佳。

为了解决这些挑战，我们提出了一个针对基于无人机的对象检测的新型3D对抗性伪装生成框架，旨在提高跨目标的迁移能力和物理世界的鲁棒性。

首先，我们引入了通用对抗性纹理生成（UATG）模块，该模块通过一系列几何增强（包括多尺度缩放、旋转、拼接和裁剪）来转换随机初始化的2D纹理种子，生成可迁移的伪装纹理。与依赖特定对象UV图的先前方法不同，UATG设计为形状无关的，显著提高了对各种对象类别和几何形状的泛化能力。

其次，我们开发了环境特征渲染生成器（EFRG），该生成器明确地对关键环境因素（如天气条件和光照）进行建模和渲染到对抗性样本上。通过利用由场景深度图指导的可微分渲染过程，EFRG能够真实地模拟3D环境效果，包括光线衰减、阴影遮挡以及雨滴和雾粒子的空间分布。这种几何感知的模拟确保了对抗性纹理在动态和复杂的室外条件下的有效性。

最后，为了充分利用检测模型的多层注意力机制，我们提出了注意力扰动优化策略（APOS）。该策略首先识别对检测结果有主导影响的注意力层，并在损失函数中放大它们的梯度。然后以尺度感知和对象敏感的方式重新分配注意力图，以优化关键区域的扰动显著性。这种双阶段调整——逐层重新加权后重新分配注意力图——提高了对抗性纹理的有效性和迁移能力，尤其是在具有显著尺度变化的无人机图像中。

此外，为了在高度非凸的通用对抗性纹理搜索空间中导航，传统梯度方法常常收敛到次优解，我们引入了基于元启发式的纹理改进策略（MTIS）。通过结合鲸鱼优化算法（WOA）和蛾火优化算法（MFO），MTIS在全局探索和局部细化之间提供了稳健的平衡。通过在降维的潜在空间内进行搜索，而不是在高维像素空间内进行搜索，该策略避免了“维度灾难”，发现了更稳健的对抗性模式，这些模式可以在不同模型和环境中泛化。

总的来说，我们的主要贡献有四点：

•

通用对抗性纹理生成（UATG）：我们提出了一种新型的、与形状无关的对抗性纹理生成模块，避免了依赖特定对象的UV映射。据我们所知，这是第一个应用于针对空中对象检测器的3D物理对抗性攻击的框架，实现了在不同3D姿态和对象实例之间的稳健泛化。

•

环境特征渲染生成器（EFRG）：通过结合深度感知的可微分渲染，EFRG能够真实地模拟复杂的天气和光照条件，生成在真实世界环境中保持高攻击成功率的物理上合理的对抗性纹理。

•

注意力扰动优化策略（APOS）：我们引入了一种多层注意力重新加权和重新分配机制，通过增强关键检测相关区域的扰动显著性来优化对抗性损失，从而提高了不同模型和场景下的攻击鲁棒性和迁移能力。

•

基于元启发式的纹理改进策略（MTIS）：一种结合了WOA的全局探索和MFO的细粒度利用的混合优化逻辑，以规避种子更新过程中的局部最优解陷阱。

总体而言，我们的框架在3D物理对抗性伪装方面取得了新的突破，提高了对象类别间的泛化能力、在复杂环境中的鲁棒性，以及为空中检测场景量身定制的注意力感知对抗性优化。

相关工作

随着基于无人机的地面监控变得越来越普遍，防止基于无人机的敏感地面资产检测已成为一个紧迫的安全问题。作为回应，最近的研究集中在设计通过操纵车辆表面外观来欺骗空中对象检测器的对抗性伪装技术[17]，[18]，[19]。

方法论

在本节中，我们提出了一种结构化的3D物理对抗性纹理生成方法。整个框架如图3所示，整个过程可以分为五个步骤。第一步，使用2D对抗性纹理种子t_s通过通用对抗性纹理生成（UATG）模块（第3.2节）形成通用伪装纹理。第二步使用环境感知特征渲染生成器（EFRG）进行环境特征渲染

数据准备

Carla [32]是一个先进的开源3D虚拟模拟器，专为自动驾驶研究设计，基于Unreal Engine 4构建。它为自动驾驶算法的开发和验证提供了全面的模拟环境，包括多样化的城市布局、车辆模型和可配置的传感器系统。研究人员可以灵活设置虚拟相机的位置和方向，从不同距离捕获高质量的背景图像

结论

本研究提出了一种显著提高物理对抗性攻击的迁移能力和鲁棒性的新方法。我们首先通过自设计的通用对抗性纹理生成（UATG）生成初始对抗性纹理，并使用PyTorch3D框架渲染带有该纹理的3D目标合成数据集。为了真实模拟现实世界的复杂性，我们开发了一个环境特征渲染生成器（EFRG），该生成器可以编程性地叠加

局限性

我们的缩放物理实验允许我们严格控制环境变量，从而能够系统地模拟在野外难以一致复制的各种视角和光照条件。同时，我们认识到这些受控设置与全尺寸实际部署之间存在领域差异。材料反射率、复杂的阴影效应以及高速运动引起的运动模糊等因素可能会影响攻击效果。

伦理声明

本文研究的是基于深度学习的对象检测系统对抗对抗性伪装的脆弱性。我们承认这项技术的双重用途潜力；虽然所提出的方法展示了有效的规避能力，理论上可能被误用于在监控或安全场景中隐藏对象，但这项工作的主要动机是防御性的。

CRediT作者贡献声明

李俊：撰写 – 审稿与编辑、资源整理、概念化。唐玉龙：撰写 – 原始草稿、验证、方法论、数据整理。任亚伟：撰写 – 审稿与编辑。沈丽艳：撰写 – 审稿与编辑、资源整理。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了以下支持：国家国防科技工业局的基础研究项目（项目编号JCKY2022405C010），以及国家自然科学基金的资助（项目编号62302057）。