基于卷积的高效模型剪枝方法：结合学习门（learn gates）、批量归一化（BN）以及通道间依赖性学习（channel interdependence learning）

《Neurocomputing》：Efficient convolution-based model pruning with learn gates & BN and channel interdependence learning

　　

陈博涵|陈敏香|蔡佳琪

台湾台南国立成功大学电气工程系，701401

摘要

近年来，深度神经网络的剪枝技术对于降低计算复杂性变得越来越重要。传统的剪枝方法通常需要大量时间来识别网络剪枝结构并进行训练，这限制了它们的实际应用。本研究提出了一种全面的方法，旨在高效处理剪枝任务，同时最小化精度损失并减少整个剪枝过程所需的时间。为了提高搜索网络剪枝结构的稳定性和收敛能力，我们提出了“Learn Gates & BN”方法，该方法利用网络中每个通道的门参数和现有的批量归一化层来学习通道的重要性，从而快速识别剪枝结构。此外，为了提高准确识别复杂网络剪枝结构的能力，我们提出了“Channel Interdependence Learning”（CIL）方法，该方法利用通道注意力机制来学习不同层之间通道的相互依赖性，从而提高通道重要性评估的准确性。通过在这两种剪枝方法中利用通道重要性评估机制，我们提出了“Channel Importance-Based Vote Shortcut Pruning”（CIVSP），该方法可以移除冗余的快捷通道，提高剪枝率而不破坏网络的拓扑结构。为了加速剪枝后的微调收敛，我们还提出了“Dynamic Loss-Driven Learning Rate Adjustment”（DLLRA）方法。该方法采用了一种通用且有效的自动学习率调整策略，以适应不同规模模型的微调需求。总之，我们的研究不仅提高了剪枝效率，还在目标检测和分类任务中取得了优异的性能。

引言

在不断发展的技术环境中，AI模型的快速发展已成为众多应用领域的基石。这包括用于图像分类和目标检测的卷积神经网络（CNN），以及用于自然语言处理（NLP）的循环神经网络（RNN），这些模型在各自的领域内都表现出强大的性能。然而，这些先进模型的复杂性和规模不断增加，导致计算和内存需求显著增加。这一挑战在资源有限的移动设备或嵌入式系统中尤为突出。以目标检测模型YOLOv4为例，在分辨率为412x412像素的图像上进行推理需要超过30亿次浮点运算（FLOPs），这使得在资源有限的嵌入式平台上实现实时检测变得不切实际。为了解决这个问题，本研究专注于模型剪枝技术，以减少模型参数和计算工作量，同时保持高精度。传统的模型剪枝过程涉及大量的训练时间，包括搜索最优剪枝结构、执行剪枝和微调剪枝后的模型。这一过程需要对模型进行深入分析和评估，以确保剪枝过程中其性能不会受到影响。从零开始进行剪枝的方法[2]提到可以在很少的训练迭代中找到具有随机权重的网络的剪枝结构。

然而，我们的实验（表1）表明，这种方法在复杂的网络架构中表现不佳。虽然仅依赖在复杂网络架构中每个通道后添加的门参数可以快速搜索剪枝结构，但识别正确的剪枝结构却变得具有挑战性。另一方面，复杂的CNN通常包含快捷连接[4]；这些结构在模型的学习和性能中起着重要作用，增加了剪枝的复杂性。快捷连接意味着一些神经元参与多个快捷路径，简单的剪枝方法可能导致信息丢失或模型性能下降。我们的研究重点在于保留快捷连接的重要性，并解决了在这些结构中进行快捷调优时遇到的挑战。在实际剪枝过程中，经过剪枝后的不同大小的模型通常需要不同的学习率调度器以实现快速训练收敛。这提出了一个挑战：如何设计有效的学习率调度器，以平衡模型微调的稳定性和快速收敛的需求。不同模型规模可能导致模型的拓扑结构和权重分布有显著差异，因此需要微调学习率以防止模型陷入局部最小值或在微调过程中振荡。我们的研究解决了这一挑战，并致力于提供一种通用且高效的自动学习率调度器调整策略，以满足不同模型规模的微调需求并加快模型重新训练的收敛速度。基于之前的讨论，我们的主要工作集中在改进从零开始的剪枝机制，以实现更准确和高效的剪枝方法。

我们的贡献可以总结如下：（1）我们观察到，应用于目标检测模型的“从零开始剪枝”的性能不如预加权探索方法有效。为了提高搜索网络剪枝结构的收敛稳定性，我们利用了网络中现有的批量归一化层，并提出了“Learn Gates & BN”方法。（2）学习复杂网络剪枝结构的门参数可能具有挑战性。为了解决这个问题，我们引入了“Channel Interdependence Learning”方法，该方法利用SE模块来学习每层内部通道之间的相互依赖性。（3）我们提出了“Channel Importance-Based Vote Shortcut Pruning”方法，该方法利用“Learn Gates & BN”和“Channel Interdependence Learning”中的机制来评估通道的重要性。这种方法允许在网络中移除快捷连接结构中的冗余通道，而不破坏网络的拓扑结构。（4）我们提出了“Dynamic Loss-Driven Learning Rate Adjustment”方法，以加速剪枝后的模型微调收敛。这种方法采用了一种通用且高效的自动学习率调整策略，以适应不同模型规模的微调需求。

章节片段

相关工作

本节介绍了剪枝的背景，并回顾了构成我们方法基础的先前工作。

方法

在接下来的部分中，我们将深入探讨完整的剪枝过程，讨论“从零开始剪枝”[2]和训练机制存在的问题。基于我们的分析，我们将探讨我们设计的方法来解决和改善这些问题，以及开发一个全面的剪枝模型工具。

实验

在本章中，我们将详细解释实验细节。第一部分包括我们的实验环境配置、用于分类和目标检测模型的数据集以及所采用的评估指标。第二部分，我们将区分图像分类和目标检测，介绍我们的实验结果并分析实验数据。

结论

在这项工作中，我们提出了一个全面的模型剪枝框架，旨在提高深度学习模型的效率和性能，特别是在目标检测任务中。所提出的框架整合了几种互补技术，以解决传统剪枝方法的局限性。“Learn Gates & BN”方法提高了收敛稳定性并优化了剪枝结构的探索。“Channel Interdependence Learning”机制利用SE模块来

CRediT作者贡献声明

陈博涵：撰写——审阅与编辑，撰写——初稿。陈敏香：撰写——初稿，软件开发。蔡佳琪：指导。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

蔡佳琪的报告得到了国家科学技术委员会的资助。陈博涵的报告得到了国家科学技术委员会的资助。陈敏香的报告得到了国家科学技术委员会的资助。蔡佳琪与国家科学技术委员会的关系包括：资金支持

致谢

本项工作得到了中华人民共和国国家科学技术委员会（NSTC）的支持，资助编号分别为113-2222-E-006-007-MY3、114-2627-M-A49-003、114-2628-H-006-002和114-2627-H-006-001-MY2。

陈博涵出生于1997年。他于2019年获得台湾桃园中原基督教大学（CYCU）的机械工程学士学位，2021年获得台湾桃园国立中央大学（NCU）的机械工程硕士学位。他目前正在台湾台南国立成功大学（NCKU）攻读电气工程博士学位。他的研究兴趣包括计算机视觉和AI模型压缩。