《Displays》：Structured pruning via cross-layer metric and ?2,0-norm sparse reconstruction
编辑推荐：
本文提出了一种创新的结构化剪枝方法，通过引入跨层重要性度量（Cross-layer Metric）和?2,0-范数（?2,0-norm）约束的稀疏重构策略，有效解决了现有层内剪枝方法面临的全局结构优化不足和滤波器重要性评估不准确两大挑战。该方法在CIFAR-10和ImageNet等多个基准数据集上验证了其高效性，例如在VGG-16模型上实现了计算复杂度（FLOPs）降低58.21%且精度损失仅0.11%的优异表现。
Highlight
全局结构优化方法
基于正则化的剪枝方法（Regularization-based Pruning Methods）在训练过程中引入稀疏正则化技术，然后移除因正则化而产生的较小参数所关联的滤波器。自动剪枝比例搜索方法（Automatic pruning ratio search methods）利用智能优化算法，在全局压缩比例约束下自动确定每层的最佳剪枝比例。例如，ABC和MetaPruning采用了一种进化算法来搜索最优的每层剪枝配置。
预备知识
考虑一个具有L个卷积层的CNN模型。忽略偏置项，卷积层的参数可表示为 W = {Wl∈ RNl× Nl-1× kl× kl, 1 ≤ l ≤ L}。这里，Nl-1和 Nl分别表示第(l-1)层和第l层特征图（Feature Map）的通道数。在进入后续章节之前，符号已按表1进行标准化总结。
跨层度量
为了解决各层间统计分布不一致的问题，我们对APoZ值进行标准化处理，以确保各层间的分布一致。我们认为标准化的APoZ值为识别稀疏网络结构提供了有价值的见解。基于这些标准化的APoZ值，我们提出了一种跨层度量来确定每层保留的滤波器数量，如图3所示。
对于一个预训练模型，特征图通道 Fil(I) 由...
实验设置
为了评估所提出的滤波器剪枝算法的有效性，我们在图像分类任务上进行了实验， specifically 使用了CIFAR-10和ImageNet数据集，并将结果与其他广泛使用的方法进行了比较。在所有实验中，参数数量和浮点运算次数分别表示为“参数量”和“FLOPs”。Top-1准确率表示为“Top-1(%)”或“准确率(%)”，而Top-5准确率表示为“Top-5(%)”。该...
结论
在本文中，我们提出了一种新颖的结构化剪枝方法，该方法融合了跨层重要性度量和?2,0-范数约束的稀疏重构策略。我们的方法解决了现有层内剪枝方法面临的两个关键挑战：跨层滤波器重要性分布的不一致性和层内依赖关系建模不足。为了解决分布不一致性问题，我们引入了一种基于标准化APoZ的跨层重要性度量。
