RDPA：一种针对夜间交通标志识别的隐蔽且危险的物理对抗攻击方式

《Expert Systems with Applications》：RDPA: A Concealed and Perilous Physical Adversarial Attack for Nighttime Traffic Signs Recognition

　　苏宏飞|张全|顾淑淮|陈洪波
中山大学系统科学与工程学院，广州，510000，中国

**摘要**
基于深度学习的目标识别系统在自动驾驶中得到广泛应用，但其固有的漏洞使其容易受到对抗性攻击。现有的物理对抗性攻击存在隐蔽性不足和环境适应能力差的问题，且大多数在夜间环境下效果尤为不佳。为了解决这些问题，本文提出了一种基于反射率差异的黑盒物理攻击（RDPA）方法，用于夜间交通标志识别。该方法利用交通标志材料的反射特性，在标志表面贴上低反射率的对抗性掩膜，该掩膜在白天或无直射光的情况下能与标志自然融合，但在夜间车辆前灯照射下会产生明暗对比，从而触发有针对性的攻击。为了进一步提高攻击的隐蔽性，本文设计了一种基于连接圆的建模方法来构建不规则的低光照区域。为了验证RDPA的有效性，我们构建了中山大学反射交通标志数据集（SYSU-RTSD）。在SYSU-RTSD和多个公共数据集上的实验结果表明，RDPA在数字对抗性攻击中表现出色。同时，通过在低光照室内环境和真实室外道路条件下的物理实验，分别获得了85.25%和91.82%的平均攻击成功率（ASR）。

**引言**
随着人工智能的快速发展，由于其卓越的性能，深度神经网络已被广泛应用于各个生活领域（Chen, Zhang, Xie, & Lai (2025); Lou & Yu (2025); Zhang, Lai, & Xie (2021b)）。然而，相关研究表明深度学习算法存在“漏洞”（Lai et al. (2025); Zhang et al. (2025); Zhang, Lai, Feng, & Xie (2024a)）。深度神经网络中输出与输入之间的映射关系很大程度上是不连续的，这意味着神经网络可能会因微小扰动而输出错误结果（Szegedy et al. (2014)）。随后，FGSM（Goodfellow, Shlens, & Szegedy (2015)）攻击算法首次通过实验验证了深度神经网络的这些“漏洞”，这对深度学习算法的安全性构成了重大威胁，尤其是在对误差容忍度较低的领域（Zhang, Lai, Feng, & Xie (2021a); Zhang, Lai, Xie, Jin, & Huang (2024b); Zhou, Jia, Li, Shen, & Duan (2023)，例如自动驾驶和医学图像处理）中，这些漏洞可能是致命的（Bai, Wang, Zeng, Jiang, & Xia (2023); Hu, Lu, Xie, & Xue (2023); Song et al. (2021)）。

夜间驾驶场景是全球交通事故的重要原因之一，而交通标志识别错误是其中的关键因素（Atif, Zoppi, Ceccarelli, & Bondavalli (2025); Zhang, Wang, Patel, Xie, & Lai (2024c)）。实际上，针对自动驾驶的对抗性攻击更可能在夜间发动（Zhou, Yan, & Liu (2024b)：低能见度环境降低了人工检测的准确性，而对车辆照明的依赖使得感知系统更容易受到亮度扰动的影响。因此，提高夜间交通标志识别对物理对抗性攻击的鲁棒性对于确保自动驾驶系统的安全性和可靠性至关重要（Wang, Deng, Xu, Liu, & Fang (2024a)）。

大多数现有的物理攻击方法（Yin et al. (2024); Zheng et al. (2023)）都是从数字攻击方法（Su, Vargas, & Sakurai (2019); Xu et al. (2020); Zhou, Wu, Liu, Liu, & Zhu (2020)）衍生而来的。然而，数字攻击依赖于理想化的假设，这些假设与现实世界的物理攻击场景存在显著差异。最近的物理攻击方法（Peng, Cheng, & Sun (2026); Wang, Yang, Forcade-Perkins, & Weng (2024b）可以在一定程度上缓解某些环境干扰，但在具有复杂车辆前灯的夜间场景中仍无法保持其原有的攻击性能。对于那些在交通标志上贴上对抗性贴片的攻击方法（Liu, Lu, Xiong, Zhang, & Xiong (2023），由于前灯下交通标志材料的高亮度反射，攻击要么因过度曝光而无效。对于基于光和影的新颖攻击方法（Sato et al. (2024); Wang, Yao, Jiang, Li, & Chen (2023），夜间前灯的动态特性会破坏激光投影、阴影或反射光模式的稳定性，导致无法触发目标错误分类。

为了克服上述局限性，我们整合并优化了两种主流的物理攻击方法，提出了一种基于反射率差异的物理攻击（RDPA）。RDPA的灵感来源于交通标志的反射材料。研究发现，老化交通标志的反射性能会下降，导致在直射光照射下光反射不均匀。当汽车灯光在夜间直接照射交通标志时，会形成明暗对比。具体来说，在交通标志的某些特定区域，会贴上反射能力较弱的对抗性掩膜。在正常情况下，这些掩膜可以与交通标志完美融合，几乎不会被察觉。当有前灯照射时，对抗性掩膜的反射能力较弱，而交通标志材料的反射能力较强，从而形成具有明暗对比的交通标志图像。RDPA利用低光照区域的亮度水平和设计来实现对抗性攻击。图1展示了RDPA与其他方法的对抗性攻击效果对比。

为了使RDPA的对抗性示例更接近自然退化效果，我们设计了一种基于连接圆的低光照区域建模方法。在现有研究中（Wang et al. (2023); Zhong, Liu, Zhai, Jiang, & Ji (2022），许多攻击方法使用规则多边形建模来构建对抗性示例。然而，我们认为这种人为图案在现实场景中非常显眼，容易被人类检查或智能检测系统发现。相比之下，连接圆结构旨在模仿交通标志反射材料的自然退化特性，这是真实交通标志常见的、不可避免的现象。这种仿生设计使对抗性掩膜更自然地融入交通标志表面，避免了规则形状掩膜的人为痕迹。具体来说，我们使用不同大小的多个圆将它们拼接在一起形成复合图案。每个圆由三个参数（半径和中心坐标）决定，并对这些参数施加约束以确保生成的圆是相互连接的。参数通过粒子群优化（PSO）进行优化。为了模拟明暗差异，我们设置了阴影系数（k）并根据对抗性掩膜材料的选择确定其具体值。此外，我们构建了中山大学反射交通标志数据集（SYSU-RTSD）来验证RDPA在现实世界中的有效性。我们的贡献如下：

• 我们提出了一种基于反射率差异的黑盒物理攻击（RDPA），用于夜间交通标志识别，该方法创新性地利用交通标志材料的反射特性设计了光触发型对抗性攻击机制。这项工作突破了传统物理攻击的局限性，实现了隐蔽且危险的对抗性攻击。
• 我们设计了一种基于连接圆的低光照区域建模方法，用于对抗性掩膜，模拟交通标志材料的自然退化，以最大化攻击隐蔽性。该方法解决了规则形状掩膜在现实世界中容易被识别的问题，并为物理攻击场景中隐蔽性对抗性示例的设计提供了一种通用的形状优化策略。
• 我们构建了中山大学反射交通标志数据集（SYSU-RTSD），这是首个在夜间直射光照下捕获具有真实反射特性的交通标志的数据集。该数据集填补了当前研究中缺失的现实世界夜间反射交通标志数据的空白，为夜间交通标志识别及其对抗性攻击的研究提供了现实的评估基准。
• 我们在低光照室内和真实室外夜间道路条件下进行了物理攻击实验，分别获得了85.25%和91.82%的高攻击成功率。实验结果不仅验证了RDPA的强大攻击性能，还揭示了基于深度学习的夜间驾驶交通标志识别系统中的安全漏洞，为开发鲁棒的自动驾驶感知系统提供了实际参考。

**章节片段**
根据攻击者对目标模型了解的程度，数字对抗性攻击可以分为白盒攻击、黑盒攻击和灰盒攻击（Luo et al. (2022）。在白盒攻击中，攻击者可以完全访问目标模型的内部结构、参数和梯度信息，几乎透明的模型往往最容易受到成功攻击。FGSM系列算法都属于这种攻击类型。

**问题描述**
被攻击的目标被设定为图像 x∈RC×H×W，分辨率为 W×H。f(·) 是一个训练有素的深度神经网络分类器，根据神经网络的固有属性，网络输出 y=f(x) 对应数据集中的某个类别：y∈C，C={c1,c2,c3,…,cN}，N 表示数据集中的类别数量。图像 x 的标签为 y^，当输入图像是干净样本 xclean 时，f(xclean)=y^。当输入图像是对抗性样本 xadv 时……

**实验设置**
数据集：为了验证RDPA对不同分辨率交通标志的攻击效果，我们首先使用了两个常用的低分辨率（32×32）交通标志数据集：LISA（Mogelmose, Trivedi, & Moeslund (2012）包含16个类别和6,834张图像，GTSRB（Stallkamp, Schlipsing, Salmen, & Igel (2012）包含43个类别和51,839张图像。此外，我们还选择了高分辨率的交通标志数据集——中国交通标志数据库（CTSDB），由长沙大学提出。

**局限性**
与大多数接触式攻击一样，RDPA也存在某些固有局限性：
(1) 物理部署限制。RDPA需要直接与目标交通标志接触才能贴上对抗性掩膜。对于容易接触的交通标志，手动部署是可行的；对于难以到达的目标，需要通过无人设备来部署对抗性掩膜。未来的工作将专注于寻找轻量级的部署设备，以提高RDPA的实用性。
(2) 目标局限性

**结论**
在本文中，我们提出了一种基于反射光的交通标志物理攻击方法RDPA，并设计了一种基于连接圆的低光照区域建模方法。在正常情况下，RDPA的对抗性示例具有极高的隐蔽性。当夜间经过车辆的前灯直接照射到交通标志上时，交通标志会生成亮度较低的区域，从而触发攻击并误导交通标志识别模型，使其做出错误分类。

**作者贡献声明**
苏宏飞：撰写——原始草稿，数据整理，概念化，形式分析，方法论，调查，验证，可视化。
张全：概念化，形式分析，方法论，监督，资金获取，撰写——审稿与编辑。
顾淑淮：撰写——原始草稿，数据整理，可视化。
陈洪波：项目管理，撰写——审稿与编辑。