DynamicPAE：实时生成具有场景感知能力的物理对抗样本

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：DynamicPAE: Generating Scene-Aware Physical Adversarial Examples in Real-Time

物理对抗样本（PAEs）是真实场景中威胁深度学习应用的关键问题，现有研究在应对多样化场景时存在适应能力不足的缺陷。本文提出动态PAE生成框架DynamicPAE，通过残差引导的对抗模式探索解决噪声反馈下的稀疏关联学习难题，并采用条件不确定性对齐的数据模块和偏斜度对齐的目标重加权模块实现场景自适应。实验表明该框架在数字和物理场景中均取得显著提升，平均攻击成功率提升2.07倍，AP下降58.8%。

　　

摘要：

物理对抗样本（PAEs）被视为深度学习应用中现实世界风险的“告密者”，因此值得进一步研究。然而，当前的PAE生成研究在面对多样化和变化的场景时显示出有限的适应攻击能力，这凸显了迫切需要实时生成并根据攻击者的观察结果进行调整的动态PAEs。生成动态PAEs的关键挑战在于，在攻击训练的噪声反馈下学习PAEs与攻击者观察结果之间的稀疏关系。为了解决这一挑战，我们提出了DynamicPAE，这是首个能够实现场景感知的实时物理攻击的生成框架。具体来说，为了解决噪声反馈问题（该问题阻碍了对与场景相关的PAEs的探索），我们引入了残差引导的对抗模式探索技术。首先，我们引入了有限的反馈信息限制来模拟噪声反馈下的训练退化问题。然后，提出了残差引导训练，该训练通过添加重建任务来丰富反馈信息，从而实现对PAEs的更全面探索。为了解决训练好的生成器（代表学习到的关系）与现实世界场景之间的对齐问题，我们引入了分布匹配的攻击场景对齐机制，包括条件不确定性对齐数据模块和偏度对齐的目标重加权模块。前者将训练环境与现实世界攻击者的不完整观察结果对齐；后者通过利用偏度指标平衡目标，促进了不同攻击目标之间的一致性隐蔽控制。广泛的数字和物理评估证明了DynamicPAE的卓越攻击性能，在代表性的目标检测器（如DETR）上实现了2.07倍的提升（攻击下的平均AP下降率为58.8%），优于现有的...

显示更多

引言

近年来，许多智能应用已在现实世界场景中得到应用，例如自动驾驶[1]、医疗保健[2]和智能助手[3]。然而，专门为误导机器学习模型而设计的对抗样本（AEs）长期以来一直是深度学习应用面临的挑战[4]。其中，物理世界对抗样本（PAEs）由于其在现实世界中的可行性以及对商业AI系统的实际威胁[6]、[7]、[8]、[9]而受到了更广泛的关注。除了揭示风险之外，对AEs（尤其是PAEs）的研究还加深了对深度神经网络的理解，并揭示了它们在工业和科学应用中的缺陷[10]、[11]。因此，对AEs（特别是PAEs）进行建模值得进一步研究，以解决深度学习模型及相关应用中的可信性问题（如可解释性、安全性和鲁棒性）。

一、引言

近年来，许多智能应用已在现实世界场景中得到应用，例如自动驾驶[1]、医疗保健[2]和智能助手[3]。然而，专门为误导机器学习模型而设计的对抗样本（AEs）长期以来一直是深度学习应用面临的挑战[4]。其中，物理世界对抗样本（PAEs）由于其在现实世界中的可行性和对商业AI系统的实际威胁[6]、[7]、[8]、[9]而受到了更广泛的关注。除了揭示风险之外，对AEs（PAEs）的研究还加深了对深度神经网络的理解，并揭示了它们在工业和科学应用中的缺陷[10]、[11]。因此，对AEs（尤其是PAEs）进行建模值得进一步研究，以解决深度学习模型及相关应用中的可信性问题（如可解释性、安全性和鲁棒性）。