朝着参数高效的网络剪枝方向：采用重新参数化的适配器

参数高效网络剪枝方法PENP通过引入可重参数化适配器RepAdapter和稀疏感知适配器调优SA-Tuning策略，在保持模型性能的同时显著降低计算资源消耗，在22个视觉基准数据集上验证了有效性。

　　

摘要

参数高效迁移学习（Parameter-Efficient Transfer Learning，PETL）是一个新兴的研究领域，旨在以较低的成本将大规模预训练模型适配到下游任务中。尽管这种方法非常有效，但我们注意到大多数现有的PETL方法通常会增加已经较为复杂的预训练模型的复杂性，从而极大地限制了其在现实世界中的应用。在本文中，我们提出了一种更为实用的PETL方法，称为“参数高效网络剪枝”（Parameter-Efficient Network Pruning，PENP），该方法旨在在迁移学习过程中实现网络结构的简化。然而，常见的网络剪枝（Network Pruning，NP）方法通常需要对整个模型进行调优，因此难以直接与PETL结合使用。为了解决这个问题，我们从理论上发现重新参数化的适配器在连接NP和PETL之间起着关键作用。受此启发，我们为视觉模型设计了一种新的PETL模块，即RepAdapter。与常见的适配器不同，RepAdapter通过移除非线性函数来实现参数的重新调整。为了最大化其对视觉模型的好处，我们还仔细研究了其结构和布局的设计。基于RepAdapter，我们提出了一种创新的PENP优化策略，即“稀疏感知适配器调优”（Sparse-Aware Adapter Tuning，SA-Tuning），该策略通过参数划分策略和惩罚损失来促进网络结构的稀疏化。为了验证RepAdapter和SA-Tuning的有效性，我们在三个视觉任务的22个基准数据集上进行了广泛的实验，这些任务包括图像和视频分类以及语义分割。实验结果表明，我们的方法在性能和效率上均优于现有的PETL方法和三种剪枝基线方法。例如，在VTAB-1k数据集上，RepAdapter的平均性能提升了7.2%，同时节省了25%的训练时间、20%的GPU内存、30%的GPU计算资源（GFlops）以及94.6%的存储成本。此外，我们的方法在一系列视觉模型（如ViT、Swin-Transformer和ConvNeXt）上的泛化能力也得到了充分验证。