一种资源高效且具备层间依赖性意识的卷积神经网络（CNN）剪枝方法，该方法利用滤波器替换技术实现

《IEEE Transactions on Neural Networks and Learning Systems》：Resource-Efficient and Layer Interdependence-Aware CNN Pruning Leveraging Filter Replacement

本文提出基于滤器替换（FR）的新型CNN剪枝框架，利用输出误差上界定义高效重要性函数，支持零过滤器替换和非零最优替代，实验表明其准确率达76.52%，参数减少25.5%，资源效率比现有方法高10倍以上。

　　

摘要：

卷积神经网络（CNN）的剪枝传统上依赖于基于启发式设计的重要性评估标准，这往往导致泛化能力有限和性能不稳定。在本文中，我们提出了一种以滤波器替换（FR）为核心的新型框架，将剪枝过程定义为用零滤波器替换选定的滤波器。通过严格分析，我们得出了后续层输出绝对误差的上限，并利用这一上限定义了一个高效的重要性函数。该重要性函数具有弱次模性质，从而能够开发出一种简单、低复杂度且无需数据的算法来选择需要剪枝的滤波器。此外，我们还将FR框架扩展到包括非零滤波器替代方案，利用最佳逼近技术为被剪掉的滤波器构建最优替代方案。在基准网络和数据集上的广泛实验验证了我们方法的有效性。所提出的方法取得了最先进的结果，其复杂度与范数剪枝等基本技术相当。值得注意的是，我们的剪枝方法在ImageNet数据集上的ResNet-50模型中实现了76.52%的准确率（ACC），超过了75.15%的基线准确率，同时将网络参数减少了25.5%。我们提出的资源效率（RE）指标表明，考虑层间依赖性的剪枝（LIAP）方法比现有技术效率高倍，为资源感知型CNN剪枝树立了新的标准。