RS-Net：基于上下文的关系评分机制，用于动态场景图的生成

《Pattern Recognition》：RS-Net: Context-Aware Relation Scoring for Dynamic Scene Graph Generation

本文提出结构变换攻击（STA），通过弹性变换和随机结构打乱引入细粒度结构变化，有效提升对抗样本的跨模型攻击能力。实验表明STA在MNIST、CIFAR-100和ImageNet数据集上优于12种现有方法，并在防御模型前保持高性能。

　　

肖雅婷|彭志文|彭飞|陈康阳|关庆晓

中国广州大学计算机科学与网络工程学院

摘要

对抗性迁移能力指的是对抗性样本（AEs）在黑盒环境下能够欺骗多个基于深度神经网络（DNN）的应用程序的能力，这在现实世界的视觉应用中带来了显著的安全风险。尽管已经做出了大量努力来提高对抗性迁移能力，但现有方法与白盒攻击相比仍然表现不佳。我们观察到，现有的基于转换的方法主要生成粗粒度的扰动来针对多个基于DNN的任务模型。然而，这种粗粒度的转换往往无法在类别注意力上产生实质性变化，从而限制了它们在提高对抗性迁移能力方面的有效性。此外，我们的实证分析表明，在输入中引入内在的结构变化会破坏类别注意力的一致性，从而增强不同基于DNN的任务模型之间的对抗能力。受此启发，我们提出了基于结构转换的攻击（STA），这是一种新的基于输入转换的对抗性攻击方法，它通过随机结构弹性转换（SET）引入细粒度的结构变化，以及结构洗牌转换（SST）破坏局部结构关系来提升对抗性迁移能力。在三个基准数据集上的广泛实验表明，STA在基于CNN和ViT的模型上显著优于12种现有的基于迁移的对抗性方法。此外，当针对防御模型进行评估时，STA制作的转换扰动仍能保持出色的对抗性能，这表明了结构转换策略在破坏正常模型和防御模型方面的通用性。我们的代码可在https://github.com/wpx21/STA获取。

引言

深度神经网络（DNNs）[1]、[2]在各种对安全性敏感的领域（例如面部识别、人群监控等）取得了显著的性能。然而，尽管有这些进展，最近的研究表明DNNs容易受到对抗性样本[3]、[4]、[5]的攻击——这些样本是通过添加精心设计的噪声来故意破坏训练有素的模型的输入。这种脆弱性对基于DNN的应用程序的可靠性构成了严重威胁。DNNs对对抗性攻击的易感性在计算机视觉领域引起了极大的关注。同时，对抗性样本的研究对于理解DNNs的基本限制以及开发增强其鲁棒性的策略至关重要（图1）。

许多研究[4]、[7]提出了生成对抗性样本的方法来欺骗基于DNN的视觉应用程序。根据对抗性方法所掌握的知识，现有的对抗性方法可以大致分为两类：白盒攻击和黑盒攻击。白盒攻击[8]、[9]、[10]可以完全访问目标模型的信息，包括模型的超参数、梯度和架构。这种不受限制的访问使白盒攻击能够制作出容易利用模型特定漏洞的扰动，通常导致目标模型过度拟合生成的对抗性分布。相比之下，黑盒攻击[11]、[12]对目标模型的信息访问有限，依赖于替代策略来误导模型，而无需直接了解DNN的内部细节。

随着基于DNN的视觉应用中对抗性研究的进展，越来越具有挑战性的黑盒攻击受到了广泛关注。对抗性样本的一个关键特性是对抗性迁移能力，它使得在一个源模型上制作的对抗性样本能够有效地欺骗其他目标模型。这一特性对于在黑盒场景中对基于DNN的视觉应用进行对抗性攻击尤为重要。

然而，许多现有的对抗性方法[13]、[14]在白盒环境下表现出色，但在攻击其他目标模型时迁移能力较差。这种现象的一个潜在解释是基于DNN的模型之间存在共享的类别语义属性。为了利用源模型中的漏洞而制作的对抗性扰动往往无法在目标模型的类别语义表示中引起有效的变化，从而限制了跨模型攻击的对抗效果。

为了提高对抗性样本的迁移能力，研究人员提出了各种技术来增强它们在基于DNN的模型之间的有效性。例如，董等人[7]引入了基于动量的策略（MIM），该策略结合了基本迭代方法[8]来提升对抗性迁移能力。MIM利用累积的梯度信息来稳定优化过程，并创建出在不同模型之间具有更好泛化能力的扰动。在基于动量的策略基础上，许多对抗性攻击结合了这一机制来增强迁移能力，例如尺度不变方法[15]（SIM）。此外，谢等人[14]引入了基于输入转换的方法（DIM），该方法在计算梯度之前对输入图像进行随机调整大小和填充，从而提高输入的多样性并实现更好的迁移能力。随后，诸如平移不变方法[16]（TIM）、块式迭代方法[14]（PIM）、ADMIX[17]和块洗牌与旋转（BSR）[4]等对抗性方法通过各种输入转换技术进一步提高了迁移能力。然而，我们观察到，现有的基于输入转换的攻击主要对输入图像应用全局转换，而没有考虑细粒度结构转换对抗性性能的影响，这可能会限制对抗性样本在目标模型之间的迁移能力。

在本文中，我们假设对抗性样本的迁移能力较弱是由于源模型和目标模型之间的输入类别分布存在显著重叠，我们提供了实证证据来验证这一观点。此外，我们假设并通过实证证明了增加转换图像的结构变化可以提高迁移能力。基于这些观察，我们提出通过一系列弹性空间转换以及对输入结构的随机洗牌来变形输入结构，以引入细粒度的结构变化。通过利用这些转换，我们提出的方法生成了在入侵不同基于DNN的视觉架构时具有更好迁移能力的对抗性样本。

我们的主要贡献总结如下：

•

我们进行了系统的实证分析，以验证对抗性迁移能力和结构变化之间的正相关性，这为提高基于DNN的视觉应用中的对抗性迁移能力提供了理论基础。我们证明了对抗性扰动中增加的结构多样性显著提升了对抗性迁移能力。

•

基于这些全面的调查，我们提出了一个新框架，结合了细粒度的弹性结构转换和随机结构洗牌转换，系统地增强对抗性样本中的内在结构变化，以提高对抗性迁移能力。我们的方法策略性地操纵输入特征的空间配置，从而生成能够利用不同模型架构中共享漏洞的对抗性扰动。

•

在涵盖多个数据集和架构的多种分类模型上进行的广泛实验表明，通过结构转换攻击（STA）生成的对抗性样本在迁移攻击成功率上优于12种最先进的基于迁移的对抗性方法，黑盒场景下的提升幅度高达7.5%。我们的全面评估涵盖了标准和鲁棒模型架构，验证了STA的有效性和通用性。

部分片段

对抗性攻击

自从首次探索深度神经网络的脆弱性[3]以来，已经提出了各种对抗性算法[4]、[5]、[13]，以系统地识别和利用DNNs的固有弱点。对抗性攻击的基本原理可以表述为

$\text{argmax}L(x_{adv},y)s.{\parallel x_{adv}?x\parallel }_{\rho }\le ?$$L$表示所使用的损失函数，x_adv表示对抗性样本，x表示原始输入，y对应于真实标签。参数ρ

方法论

在本节中，我们介绍了我们进行可迁移对抗性攻击工作的动机，并详细描述了提出的基于结构转换的攻击（STA）。

实验设置

数据集：为了确保与已建立的对抗性基线（例如MIM [7]、DIM [9]、NAA [13]等）在不同分辨率的数据集上保持一致，我们选择了三个广泛使用的分类数据集：MNIST [36]（包含10,000张测试图像，共10个类别（数字0–9），灰度28×28，均匀分布），CIFAR-100 [37]（包含10,000张测试图像，共100个类别，RGB 32×32，每个类别100张图像），以及ImageNet ILSVRC2012（Val）[38]（包含50,000张测试图像）

结论

在这项工作中，我们观察到基于输入转换的攻击可以提高对抗性迁移能力。受到结构变化可能会引入更多特征多样性，从而破坏基于DNN的任务模型预测的启发，我们提出了基于结构转换的攻击（STA），通过引入细粒度的结构变化来增强黑盒迁移能力。STA结合了结构弹性转换（SET），该转换可以破坏局部结构，

CRediT作者贡献声明

肖雅婷：写作 – 审稿与编辑，撰写原始草稿，可视化，验证，资源管理，方法论，研究，资金获取，形式分析，数据管理，概念化。彭志文：写作 – 审稿与编辑，监督，资源管理，形式分析，数据管理，概念化。彭飞：写作 – 审稿与编辑，监督，资源管理，研究，形式分析，数据管理，概念化。陈康阳：写作 – 审稿与编辑，

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作部分得到了中国国家自然科学基金（编号62302116）、广东省基础与应用基础研究项目（编号2023A1515012697、2025A1515012874、2025A1515010264、2023A1515011575、2024A1515011475）、广州市科学技术项目（编号2024A03J0092、2025A03J3122）的支持。我们感谢审稿人的宝贵意见和建议，这些意见和建议显著提高了本文的质量。