编辑推荐：
本刊特邀推荐：卷积神经网络(CNN)的性能分析常受限于高维结构带来的计算复杂度。为解决CNN的鲁棒性评估难题，研究团队开创性地提出将其视为二维Lur'e系统进行分析。通过将卷积层实现为二维线性系统的状态空间形式，并利用鲁棒控制理论中的耗散性和积分二次约束(IQC)工具，该工作建立了一套基于二维系统理论估计CNN Lipschitz常数的半定规划(SDP)框架。此项研究发表于《Automatica》，首次建立了二维系统理论与CNN分析的桥梁，为评估CNN对抗扰动的稳健性提供了比现有方法更具可扩展性的新途径。
深度学习的巨大成功在很大程度上归功于神经网络架构的演进，其中卷积神经网络(CNN)因其在图像和音频处理等领域的卓越表现而成为明星模型。然而，一个日益凸显的挑战是评估这些网络的“鲁棒性”——即其对输入微小扰动的抵抗能力。这在实际应用中至关重要，例如在自动驾驶中，一个经过巧妙修改、人眼难以察觉的“对抗性”图像可能导致模型做出灾难性的错误判断。衡量这种鲁棒性的一个关键指标是网络的Lipschitz常数，它量化了网络输出相对于输入变化的敏感程度。但精确计算现代CNN的Lipschitz常数已被证明是NP难问题，而现有的估计方法要么过于保守，要么计算代价高昂，难以扩展到处理高维图像数据的实际CNN架构。更根本的是，现有方法通常将CNN视为高维的全连接网络进行处理，未能充分利用其内在的、由卷积操作所定义的移位不变性结构，这导致了分析上的效率瓶颈。为了破解这一困局，一项发表于控制领域顶级期刊《Automatica》的研究提出了一种全新的视角：将卷积神经网络重新诠释为“二维动力系统”。该研究由Dennis Gramlich, Patricia Pauli, Carsten W. Scherer和Christian Ebenbauer合作完成。他们发现，通过将卷积层在状态空间(state-space)中实现，其卷积核可视为线性滤波器的脉冲响应。由此，整个由卷积层和激活函数组成的CNN，可以被视作一个“二维Lur’e系统”——即一个与静态非线性分量互连的线性动力系统。这一视角的革命性在于，它使得研究者能够调用成熟而强大的鲁棒控制理论工具，特别是耗散性理论和积分二次约束，来高效地估计CNN的Lipschitz常数，从而为评估其对抗对抗性攻击的稳健性开辟了一条更具可扩展性的新道路。
为了开展这项研究，作者们主要运用了以下几个关键技术方法：首先，他们为卷积层建立了基于Roesser或Fornasini-Marchesini模型的二维线性时不变(LTI)系统状态空间表示。其次，他们将包含激活函数的整个CNN框架定义为二维Lur’e系统。接着，他们将耗散性理论和积分二次约束(IQC)的分析工具扩展并应用到二维系统设置中。最后，他们基于此框架，构建了一个用于估计CNN的?2-Lipschitz常数的凸优化问题，具体表现为一个半定规划(SDP)。该方法的优势在于其固有的可扩展性，因为它直接利用了CNN的二维移位不变结构，而非将其嵌入到维度更高、结构更稀疏的全连接网络中进行处理。
2. 全卷积神经网络与二维系统
该研究首先对全卷积神经网络进行了严格的数学定义，将其视为在两个独立变量（如图像的空间维度）上操作的信号算子。通过将卷积核解释为有限脉冲响应(FIR)滤波器，并利用移位算子，研究者证明了卷积层对应于线性时不变的二维系统。这一部分的关键结论是：标准的卷积层操作在数学上等价于一个具有特定结构的二维FIR滤波器。
3. 二维系统的耗散性
为了分析由二维系统表示的CNN，研究者将一维系统的耗散性理论推广到了二维场景。他们引入了适用于二维Roesser系统的存储函数和供给率概念，并建立了相应的耗散性定理。这部分的核心结论是：可以通过寻找满足特定线性矩阵不等式(LMI)条件的存储函数矩阵，来证明二维系统具有所期望的耗散性性质（如?2增益性能），这为后续的Lipschitz常数分析奠定了理论基础。
4. 估计Lipschitz常数
这是研究的核心应用部分。研究者将CNN建模为一个反馈互连系统：线性部分（由所有卷积层的二维状态空间模型串联而成）与非线性部分（由所有扇区有界、斜率受限的激活函数并联而成）。通过对此二维Lur’e系统应用积分二次约束，他们将CNN的?2-Lipschitz常数估计问题，转化为一个寻找合适存储函数矩阵的凸优化问题，具体表现为一个半定规划。该SDP的可行性直接给出了Lipschitz常数的一个上界。这部分得出的最重要结论是：提出了一种基于二维系统理论和IQC的、用于估计CNN Lipschitz常数的可计算凸规划框架。与将CNN展开为大型全连接网络的传统方法相比，该方法通过利用卷积结构的时空特性，有望显著提升计算效率，并能处理任意尺寸的输入图像。
研究结论与意义
本研究的核心结论是成功建立了一套利用二维系统理论分析卷积神经网络的形式化框架。具体而言，研究者证明了：1) 卷积层可以自然地用二维线性系统的状态空间模型来表示；2) 包含激活函数的整个CNN对应于一个二维Lur’e系统；3) 基于此表示，可以运用鲁棒控制中的耗散性理论和积分二次约束工具，通过求解一个半定规划来高效地估计CNN的Lipschitz常数。
这项工作的意义深远且是多方面的。从神经网络研究的角度看，它提供了一种分析CNN鲁棒性的新范式，该方法通过尊重而非忽略CNN固有的二维结构，有望比现有方法更具可扩展性，能够分析更大型的网络和处理任意尺寸的输入。从控制系统理论的角度看，这项工作将二维系统理论的应用范围拓展到了当今机器学习中最核心的架构之一——CNN，为这个经典理论领域注入了新的活力。它揭示了CNN本质上是当前最重要的二维滤波器应用案例。从实际应用的角度看，所提出的SDP框架为实际评估图像分类、分割等模型中CNN组件的稳健性提供了潜在的工具，有助于构建更可靠、更安全的深度学习系统。此外，文中也指出，这项工作为后续研究开辟了多个方向，例如将框架扩展至包含池化层、批归一化层等更复杂的CNN架构，以及探索在训练过程中直接约束Lipschitz常数以提升模型固有鲁棒性的可能性。总之，这项研究在控制理论与深度学习之间架起了一座新颖而坚固的桥梁，为解决评估复杂神经网络鲁棒性这一关键挑战提供了强有力的新工具。
