《Pattern Recognition》：AI3D: Multimodal Verification System against Projective Attacks for Deep Learning Classifiers
编辑推荐：
基于几何投影变换的多模态深度神经网络验证框架，提出Lower/Upper Bounds方法处理轮廓数据和图像数据，支持3D旋转与平移攻击下的鲁棒性认证，实验验证在MNIST、MPEG-7及瑞典叶数据集上的有效性。
作者：Imen Smati、Rania Khalsi、Faouzi Ghorbel、Mallek Mziou-Sallami
CRISTAL实验室，GRIFT研究小组，ENSI，拉马努巴大学，2010年，突尼斯
摘要
深度学习验证工具主要关注处理图像类型的数据，认证图像分类器对基本对比度、FGSM噪声和L∞等扰动的鲁棒性。然而，实现几何认证仍然具有挑战性，相关研究也非常有限。应用于轮廓类型数据的神经网络分类器的鲁棒性是一个关键问题。为了解决这一不足，本文提出了一种创新的形式主义，即下界（LB）和上界（UB），用于评估深度神经网络（DNN）对由投影变换引起的更广泛几何“物理世界”攻击的鲁棒性。我们将认证框架扩展到一个多模态系统，可以针对图像和轮廓数据对视觉系统进行认证。这种用于深度轮廓分类器的工具与任何嵌入式2D轮廓兼容。作为预处理步骤，我们重点研究了两种弧长重新参数化技术，并评估了它们对模型性能的影响。实验在MNIST和MPEG-7数据集上进行，然后扩展到瑞典叶数据集，用于叶片健康分类应用。所获得的结果证明了将多种模态纳入认证系统的重要性。所提出的多模态系统的代码可在GitHub上找到，链接如下：
https://github.com/ImenSmatiENSI/AI3D_Multimodal_system引言
尽管神经网络在对抗性示例方面存在已知漏洞[1]，但它们在安全关键领域的应用正变得越来越普遍[2]。应用包括安全关键系统，如自动驾驶汽车[3]、[4]、垃圾邮件检测[5]、机器人技术[6]、碰撞避免方法[7]和医学图像诊断[8]。这是由于最近对DNN对抗性鲁棒性的关注[9]、这一指标与现实世界威胁的量化[10]以及对DNN系统的认证[11]。然而，现有的验证框架尚未提供针对图像和轮廓数据在现实世界几何扰动（如3D旋转和平移）下的联合鲁棒性认证；本文旨在填补这一空白。
近年来提出的多种DNN验证系统大多依赖于线性规划[12]、线性近似[13]、基于线性松弛的扰动分析[14]、[15]或抽象解释[16]、[17]。这些框架主要针对图像数据，其评估仅限于一组有限的对抗性攻击，如亮度扰动[16]、3D旋转[18]和卷积扰动[19]。
随着深度学习架构的出现，如ContourCNN[36]、ContourNet[37]和DeepGCSS[38]，需要能够处理轮廓数据的验证方法。现有方法主要将轮廓视为表示封闭形状的圆形点序列，更关注分类器本身，而不是将轮廓序列转换为模型输入的嵌入方法。例如，[39]引入了用于分割的傅里叶轮廓嵌入，而[40]嵌入了用于道路检测的结构化轮廓和位置先验。此外，虽然提出了平面曲线的不变量[41]、[42]，但它们通常存在数值不稳定问题。即使探索了笛卡尔和极坐标表示[36]等嵌入方法，它们的影响也主要限于分类准确性，而不是对抗性鲁棒性。在表1中，我们列出了一些处理不同数据格式的知名DNN验证框架。尽管取得了进展，但到目前为止，3D旋转扰动仅应用于图像分类器，而轮廓分类器没有针对此类攻击的专门验证。据我们所知，还没有先前的工作针对投影变换对轮廓分类器的验证[43]。这种变换对应于2D图像视角的变化（单应性），这些变化源于相机运动或全局3D对象变换（如3D旋转和3D平移），当投影到图像平面上时。在实际视觉系统中，这些变化是分布偏移的主要来源，可能会显著影响深度学习模型的预测[44]。为了解决这种现实条件下的鲁棒性问题，提出的框架专注于认证模型对由投影变换引起的对抗性扰动的鲁棒性，从而超越了简单的2D变换，转向更符合物理实际和更真实的攻击场景。这些变换可以被视为对分类模型的对抗性扰动，因此称为“投影攻击”。
为了填补这一空白，我们的目标是设计一个针对图像和轮廓模态的多模态验证系统，以实现针对真实投影攻击的认证。我们研究了轮廓嵌入的仿射重新参数化，以提高分类器的准确性，确保轮廓数据点在等仿射变换下的不变性，并提高分类器的鲁棒性，因为这种重新参数化产生了更精确的抽象域，从而增强了鲁棒性。我们进一步基于抽象解释调整分析器，为2D平面曲线建立抽象界限，并将认证扩展到结合图像和轮廓的多模态系统。这使我们能够不仅针对经典的2D扰动，还能针对反映现实世界条件的3D变换评估鲁棒性。
本研究的主要贡献可以总结如下：
•我们研究了将弧长仿射重新参数化以将轮廓投影到不变表示的有效性，从而实现更鲁棒的学习。
•通过利用仿射重新参数化，我们为2D平面曲线建立了精确的下界和上界抽象界限，确保了对包括3D旋转和3D平移在内的各种投影攻击的抵抗力。
•我们将认证框架的范围扩展到一个多模态DNN系统，能够验证3D位移下的图像和轮廓数据，提供针对投影攻击的强大防御，应对更真实的变换带来的挑战。
•我们在3D空间中进行了各种实验来评估我们的多模态系统在投影变换下的性能。我们使用了MNIST和MPEG-7两个数据集作为图像输入。随后，我们将我们的方法应用于瑞典叶数据集的叶片健康分类，作为一个实际用例。
本文的其余部分结构如下：第2节简要概述了与本文相关的关键概念。接下来，第3节介绍了我们基于抽象解释理论提出的新型深度多模态分类器验证系统AI3D（3D投影变换的抽象解释）。本节概述了在包括3D旋转和3D平移的投影变换背景下确定下界和上界的流程。第4节介绍了实验设置，包括数据集描述、预处理步骤、实现细节和评估程序。第5节讨论了鲁棒性评估的解释。然后我们在第6节展示了将我们的方法应用于瑞典叶数据集进行健康分类的情况。
章节片段
背景和相关工作
本节简要介绍了抽象解释理论、3D空间中对象的投影失真以及轮廓的弧长参数化。
提出的方法
我们提出的系统结合了两种验证器来评估深度神经网络（DNN）的鲁棒性，整合了在投影变换下的图像和轮廓分类模式。
实验设置
在本节中，我们介绍了轮廓数据集及其预处理，以及AI3D的实现细节。
结果与讨论
在本节中，我们展示了实验结果。首先，我们研究了采样步骤对抽象域和认证鲁棒性的影响。之后，我们进行了消融研究，以展示仿射弧长重新参数化的贡献。然后，我们根据最有效的轮廓表示和图像数据讨论了模型性能。最后，我们展示了
叶片健康分类中的多模态鲁棒性：瑞典叶数据集
在评估了DNN模型在简单基准测试（例如，用于手写数字的MNIST和用于形状识别的MPEG-7）下的鲁棒性之后，我们将分析扩展到使用瑞典叶数据集（20）的多模态系统，这是一个用于生物分类任务的真实基准，例如基于视觉特征识别叶片健康状况和物种。该数据集包含15,000个样本，分布在15个类别中
结论
本文介绍了AI3D，这是一个多模态验证系统，用于通过抽象解释评估深度分类器对投影攻击的抵抗力，包括3D几何变换。它有效地验证了处理各种对象表示的分类器，包括图像和轮廓，确保了模型在这些变换下的安全性。AI3D在MPEG-7、MNIST和瑞典叶数据集上进行了测试，后者提供了处理现实世界情况的见解
CRediT作者贡献声明
Imen Smati：撰写——原始草稿、可视化、软件、资源、方法论、调查、形式分析、数据管理。Rania Khalsi：撰写——审阅与编辑、验证、项目管理、方法论、调查、形式分析、数据管理、概念化。Faouzi Ghorbel：撰写——审阅与编辑、监督、形式分析、概念化。Mallek Mziou-Sallami：撰写——审阅与编辑、验证、监督、概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
