保持信息流稳定性以实现稳健的网络剪枝

《Knowledge-Based Systems》：Preserving Information Flow Stability for Robust Network Pruning

模型剪枝在提升边缘设备效率的同时常导致鲁棒性下降，本文提出鲁棒信息流剪枝（RIFP）方法，通过分层建模信息流稳定性并动态分配剪枝预算，在保持高压缩率下显著提升模型对输入扰动和分布偏移的鲁棒性。

　　

史文辉|杨江刚|徐阳斌|刘健

中国科学院微电子研究所，中国北京市朝阳区北土城西路3号，100029

摘要

模型剪枝通过移除资源受限的边缘部署中的冗余参数，显著降低了模型复杂性和推理成本。虽然这种效率对于边缘设备来说非常理想，但在现实世界场景中，鲁棒性同样至关重要。深度网络的鲁棒性从根本上依赖于稳定的信息流，其中输入扰动仅会引起内部激活的微小且连贯的变化，从而保持特征的语义结构。然而，现有的剪枝方法往往忽略了输入扰动下信息流的行为，导致剪枝模型的鲁棒性大幅下降。在这项工作中，我们提出了鲁棒信息流剪枝（RIFP）框架，该框架明确地将扰动感知的信息流稳定性作为结构选择的指导原则，实现了比以往剪枝方法更优的鲁棒性与效率之间的平衡。所提出的方法引入了分层稳定性建模，包括量化扰动敏感性的通道级敏感性度量和将这些细粒度分数整合为层级信息稳定性统一度量的层级聚合机制。随后根据稳定性评估结果设计了动态压缩预算分配策略。该策略通过分析层级鲁棒性轮廓来实现剪枝比例的自适应调整。这种扰动感知的设计使模型能够在分布变化下保持稳定的特征演化，实现了效率与鲁棒性之间的良好平衡。

引言

在资源受限的环境中部署深度神经网络（如移动机器人、户外监控和自主系统）需要高效且能够在现实世界条件下常见的自然扰动下保持可靠的模型[1]、[2]。为了满足效率要求，大量研究集中在模型压缩技术上（例如剪枝[3]、[4]、[5]、量化[6]、[7]、知识蒸馏[8]、[9]以及轻量级架构[10]、[11]、[12]、[13]、[14]、[15]）。然而，在这些部署场景中，由于运动模糊、噪声、低分辨率或由硬件限制和不利条件引起的压缩伪影等因素，视觉输入经常会被破坏[1]、[16]。这些视觉损坏导致与干净训练数据相比出现显著的分布变化，从而严重影响标准模型的性能。值得注意的是，仅针对效率优化的模型往往更容易受到视觉扰动的影响，因为压缩会降低模型容量并阻碍模型在分布变化下的泛化[17]、[18]。因此，在这些环境中部署模型面临着双重挑战：在满足硬件限制的同时实现计算效率，并保持对常见视觉损坏的鲁棒性。这两者对于成功和可靠的现实世界应用都至关重要。

除了经验上的准确性下降外，最近的研究表明，鲁棒性从根本上与深度网络内部信息传播的稳定性有关。从信息论和表示学习的角度来看，鲁棒模型的特点是在受到输入扰动时能够保持层间特征转换的一致性和连贯性[19]、[20]、[21]。在稳定的信息流下，输入的微小变化只会引起中间激活的受控和结构化的变化，从而保持学习到的表示的语义组织。相比之下，信息流的不稳定性会导致扰动在网络深度上逐渐放大，即使干净数据的准确性仍然很高，也会导致特征层次结构的扭曲和对噪声、损坏以及分布变化的敏感性增加[22]、[23]、[24]。这一观点表明，鲁棒性不仅由模型容量或训练目标决定，还取决于信息在变化输入条件下的传播和转换的可靠性。

从这个角度来看，模型压缩，特别是网络剪枝，不仅仅是去除冗余参数，而是修改信息在层间的传播方式。长期以来，网络剪枝被认为是一种在资源受限的部署中提高计算效率的有效策略。非结构化剪枝[3]、[25]根据权重大小或敏感性去除单个权重，产生高度稀疏的模型，这些模型在通用硬件上难以加速。相比之下，结构化剪枝则去除整个滤波器、通道或块，产生对硬件友好的稀疏模式和实际的推理加速效果。传统的结构化剪枝方法通常依赖于权重重要性[3]、[26]、[27]、批量归一化缩放因子[28]、[29]、[30]或激活统计[5]、[31]、[32]、[33]等标准来识别和消除冗余组件，主要目标是在干净、未受扰动的输入数据上保持准确性。

尽管在提高效率方面取得了成功，但越来越多的证据表明，传统的剪枝技术在输入损坏和分布变化下往往会导致鲁棒性下降。Hooker等人[34]指出，剪枝后的网络倾向于丢弃对鲁棒性至关重要的特征，导致在分布外数据上的准确性大幅下降。Diffenderfer等人[17]进一步证明，以效率为导向的剪枝可能会无意中去除有助于特征多样性的通道，从而加剧了对自然扰动的敏感性。最近的研究[35]证实，激进的稀疏化会损害模型在多样化数据分布下保持一致表示的能力。从信息流的角度来看，这些失败是因为大多数现有的剪枝方法优先考虑最大化干净数据区分度的路径，而忽略了扰动下信息传播的稳定性。因此，剪枝后的模型可能保留了高度区分性的但脆弱的表示，无法在现实世界条件下保持特征转换的连贯性。这些观察结果提出了一个关键问题：我们能否在明确保持稳定信息流的同时实现模型压缩，从而在不牺牲效率的情况下提高鲁棒性？

在本文中，我们提出了鲁棒信息流剪枝（RIFP）框架，旨在在整个剪枝过程中保持稳定的信息流。具体来说，RIFP结合了多粒度度量来评估信息流稳定性，并采用基于图的剪枝单元，使得在剪枝过程中同时保持通道和层级的信息传播一致性。此外，RIFP引入了动态压缩预算分配策略。该策略在多粒度信息流稳定性评估的指导下，采用“先全局后局部”的原则，自适应地调整每层的剪枝顺序和稀疏度比例，实现了模型压缩率和信息流稳定性之间的更好平衡。广泛的实验表明，RIFP在各种分布变化下显著提高了模型的鲁棒性，在ImageNet-C、ImageNetV2-C、ImageNet-$\bar{C}和ImageNet-3DCC上取得了持续的性能提升，同时保持了高压缩比率。$

我们的主要贡献总结如下：

1. •
   我们提出了一个新颖的剪枝框架——鲁棒信息流剪枝（RIFP），它在模型压缩过程中明确保持了信息流的稳定性。RIFP从信息流的角度重新定义了网络剪枝，实现了在分布变化下的鲁棒性导向的结构选择。
2. •
   我们引入了多粒度信息流稳定性建模，能够准确捕捉分布变化下网络通道和层间特征传播的不变性。这种设计为识别各层中的冗余和脆弱组件提供了原则性基础。
3. •
   我们提出了一种动态压缩预算分配策略，该策略根据多粒度信息流稳定性自适应地调整每个组件的剪枝强度和顺序。这种基于稳定性的分配在分布变化下实现了效率和鲁棒性之间的有效平衡。
4. •
   我们的框架不需要额外的训练复杂性，可以无缝集成到现有的流程中。在ImageNet-C、ImageNetV2-C、ImageNet-
   和ImageNet-3DCC上的广泛实验表明，它在各种自然损坏和分布变化下显著提高了鲁棒性，同时在干净的ImageNet基准测试上保持了竞争力。

部分摘录

通用模型剪枝

模型剪枝[36]、[37]已被广泛研究，用于在资源受限的环境中高效部署深度神经网络，分为非结构化剪枝和结构化剪枝。非结构化剪枝[3]、[25]、[27]、[38]在单个连接或权重的层面进行操作。它通常根据权重大小或梯度敏感性去除参数，然后通过短暂的微调阶段来恢复任何丢失的准确性。此外，大多数方法依赖于

基于信息流的网络单元划分

选择合适的最小剪枝单元至关重要，因为它从根本上决定了深度神经网络内的信息流，并直接影响模型性能和可压缩性。然而，依赖于评估单个参数或通道重要性的传统结构化剪枝方法往往无法考虑信息在层间的传播路径。

模型和数据集

我们的实验在多个广泛使用且具有挑战性的基准数据集上进行。我们首先在ImageNet-1k（IN）[63]及其损坏变体ImageNet-C（IN-C）[16]上进行评估。我们还使用了ImageNetV2（IN-V2-C）[64]，这是为了评估模型泛化能力而对原始ImageNet进行重新采样的版本。为了进一步测试在结构化图像损坏下的鲁棒性，我们采用了ImageNet-（IN-（IN- [65]，它引入了条纹模式和遮挡，以及ImageNet-3DCC（IN-3DCC）[66]

层级稳定性与网络深度之间的关系

了解深度网络的不同层如何响应分布变化对于诊断鲁棒性和语义一致性至关重要。因此，我们计算了层级不稳定性度量