释放奇异值的力量，实现大型预训练模型的参数高效微调

《IEEE Transactions on Multimedia》：Unleashing the Power of Singular Values for Parameter-Efficient Fine-Tuning of Large Pre-Trained Models

参数高效微调方法PiVot利用奇异值分解初始化低秩矩阵，通过优化关键奇异值提升模型迁移效率，相比LoRA减少16倍参数量，在多任务中表现更优。

　　

摘要：

大型预训练模型（LPMs）在自然语言处理和计算机视觉任务中取得了显著的成功。然而，对这些模型进行完全微调以适应下游任务会带来高昂的内存成本，这在资源受限的环境中构成了挑战。参数高效微调（PEFT）方法，如LoRA，通过仅更新一小部分参数来缓解这一问题。尽管这些方法效率较高，但它们通常对低秩矩阵使用随机初始化，这可能导致梯度下降过程中收敛速度变慢且稳定性降低，同时由于起始点不佳而降低泛化能力。在本文中，我们提出了PiVot，这是一种新颖的PEFT方法，它利用奇异值分解（SVD）来初始化低秩矩阵，其中关键的奇异值被作为可训练参数。具体来说，PiVot对预训练的权重矩阵进行SVD处理，以获得最佳的秩-r近似值，重点关注前r个奇异值，这些奇异值包含了矩阵超过99%的结构信息。通过将这些前r个奇异值视为可训练参数，PiVot有效地扩展了预训练权重矩阵的基本子空间，从而实现对新领域的高效和有针对性的适应。在各种LPMs上的广泛实验表明，与LoRA相比，PiVot在自然语言理解、文本到图像生成和图像分类等任务中表现更优，同时所需的可训练参数数量减少了16倍。