SMGM：利用符号动量梯度方法对YOLO目标检测器进行的对抗性攻击

《Signal Processing: Image Communication》：SMGM: Adversarial attacks against YOLO object detector using Sign Momentum Gradient Method

目标检测模型中对抗样本生成方法研究，提出基于自适应梯度累积的Sign Momentum Gradient Method（SMGM）实现物体不可见攻击与误分类攻击，通过Adaptive Perturbation Suppression技术约束背景扰动，实验表明在Pascal VOC2007测试集上对YOLOv4的攻击成功率提升至0.79%。

　　

张兆鑫|黄世泽|刘晓文|范倩辉|董德坤

上海同济大学轨道基础设施耐久性与系统安全重点实验室，中国上海曹安路4800号，201804

摘要

基于卷积神经网络（CNN）的对象检测器已在各种视觉领域得到广泛应用。然而，这些检测器面临着来自对抗性攻击的严重威胁。当前的基于梯度的对抗性攻击方法在误导分类系统方面表现出了良好的性能。然而，在需要实时生成对抗性示例的专业领域中，由于迭代次数是固定的，这仍然是一个关键问题。现有文献主要关注针对整个图像的对抗性示例生成方法，忽略了领域特定需求。在这项研究中，我们提出了“符号动量梯度方法”（SMGM），作为一种有效且全面的白盒攻击方法。随后，我们利用这种方法提高了对“You Only Look Once”（YOLO）v4对象检测器的攻击效果。SMGM通过自适应累积扰动来实现这一目标。我们的攻击算法包括对象不可见性攻击和对象误分类攻击，确保了全面的效果。此外，在SMGM框架内，我们引入了“自适应扰动抑制”（APS）技术来限制背景扰动并调整扰动空间的维度。通过大量实验，我们验证了该方法在对象不可见性攻击和对象误分类攻击中的优越性能。在Pascal VOC2007（测试）数据集上，我们的方法在欺骗YOLOv4对象检测网络方面实现了0.79%的显著召回率（RR）。这些结果为针对其他计算机视觉任务的对抗性攻击进一步发展提供了灵感。

引言

卷积神经网络（CNN）在解决复杂的计算机视觉任务方面展示了显著的优势[1]。最近，研究人员将CNN应用于使用传统方法无法满意解决的图像相关问题，如图像分类[2]、对象检测[3]和面部识别[4]。然而，CNN容易受到对抗性示例的操纵[5,6]，这引发了人们对针对CNN的对抗性攻击可能带来的威胁的日益关注[[7], [8], [9]]。因此，探索对抗性示例有助于更好地理解CNN的底层机制，并提高其在自动驾驶[11]和动作分析[12]等领域的鲁棒性[10]。

大量研究[13]表明深度学习容易受到数字对抗性攻击和物理对抗性攻击的影响[14]。快速梯度符号方法（FGSM）[15]是一种用于对分类器进行数字攻击的一步梯度更新技术。在此基础上，其他基于梯度的方法，如投影梯度下降（PGD）[16]、CI-FGSM[17]、AI-FGSM[18]等，通过迭代参数计算和对抗性扰动修改被开发出来，并被证明更有效。此外，CNN在现实世界场景中也容易受到对抗性示例的影响[19,20]。例如，在[21]中，佩戴精心设计的印刷眼镜框架的人可以逃避识别或冒充他人。同样，精心设计的扰动可以欺骗交通标志识别系统，使其将停车标志误认为是限速标志[22]。Jung等人[23]评估了由多重任务损失（即对象性、定位和分类）引起的对抗性攻击对YOLO对象检测网络的影响。

利用梯度输入的现有研究[24]已经证明了它们在欺骗对象检测模型方面的有效性。为了在工业环境中实现对对象检测器的实时对抗性攻击，生成迭代次数较少但仍然具有强大效果的对抗性示例至关重要。此外，尽管这两种方法都为YOLO对象检测网络生成了对抗性示例，但我们的方法专注于如何实施有针对性的对抗性攻击，特别是目标不可见性攻击和目标误分类攻击，这与[23]中提出的对抗性示例生成方法不同。此外，我认为在背景（如天空）上引入对抗性扰动是多余的且徒劳的，因为存在区域提议机制。因此，在本文中，我们提出了基于梯度的对抗性攻击算法“符号动量梯度方法”（SMGM）。我们的重点在于累积输入梯度并调整扰动实体的累积量以生成对抗性示例。这项研究的贡献如下：

•

我们提出了“符号动量梯度方法”（SMGM）来生成对抗性示例，该方法可以调整扰动实体的累积量。这使得执行对象不可见性攻击和对象误分类攻击成为可能。

•

在SMGM框架内，我们引入了“自适应扰动抑制”（APS）方法，有效地调整扰动空间的大小并提高扰动的不可察觉性。APS通过图像裁剪动态识别对抗性扰动的对象导向区域并细化背景信息。

•

所提出的攻击算法在真实世界数据集上取得了显著的成功率。具体来说，在Pascal VOC2007（测试）数据集上，它在欺骗YOLOv4对象检测网络进行对象不可见性攻击时实现了0.79%的召回率（RR）。

本文的结构如下：第2节全面回顾了与对抗性攻击相关的各种概念。第3节介绍了本研究中提出的新方法。第4节详细阐述了进行的实验及其结果。最后，在第5节中提供了结论性意见以及潜在的未来研究方向。

相关工作

相关工作

在本节中，我们分别介绍了针对分类器和对象检测器的对抗性攻击的概述。

我们的对抗性攻击方法

在本节中，我们介绍了我们方法的框架。随后，我们阐明了我们对抗性攻击方法的基本原理。

实验设置

我们使用了两个数据集进行实验：Pascal VOC 2007&2012数据集[42]和Microsoft Common Objects in Context（MS-COCO）数据集[43]。对于对象不可见性攻击，我们从Pascal VOC 2007（测试）数据集中选择了4952张图像，从COCO2017（验证）数据集中选择了5000张图像。在我们的研究中，我们将迭代次数设置为10次。对于对象误分类攻击，我们的目标是使YOLOv4将“汽车”误识别为“公交车”。因此，在设置数据集时，我们首先使用了

结论

在本文中，我们提出了SMGM，一种生成对抗性示例的技术，并利用这种方法提高了对“You Only Look Once”（YOLO）v4对象检测器的攻击效果。SMGM通过调整扰动实体的累积量来生成对抗性扰动。此外，SMGM可以轻松应用于其他任务，如文本识别、语义分割和实例分割以生成对抗性示例。为了增强生成过程，我们

CRediT作者贡献声明

张兆鑫：撰写——原始草稿、验证、软件、方法论、正式分析、数据管理。黄世泽：撰写——审阅与编辑、项目管理、调查、资金获取、概念化。刘晓文：撰写——审阅与编辑、资源管理、调查。范倩辉：软件、数据管理。董德坤：监督、项目管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本研究得到了中国自然科学基金（CSTB2022NSCQ-MSX1454）、上海人工智能创新发展专项支持（2020-RGZN-02041）和四川省科技计划（2019YFG0040）的支持。

张兆鑫于2016年获得中国青岛山东科技大学的学士学位，2019年获得中国兰州交通大学的硕士学位，2023年获得中国上海同济大学的博士学位。目前，他在香港科技大学从事博士后研究。他的当前研究兴趣包括智能交通系统、对抗性攻击等。