一个基于参数解耦的、高效通信的个性化联邦学习框架

《Neurocomputing》：A communication-efficient personalized federated learning framework driven by parameter decoupling

　　

天桑|朱光初|蒋轩|张星

辽宁工程技术大学电子与信息工程学院，锦州，121001，中国

摘要

联邦学习作为一种分布式机器学习范式，允许多个客户端在保护数据隐私的同时协作训练模型。然而，在实际应用中，它面临两个主要挑战：数据分布不均匀和高通信成本，这些因素显著限制了其性能和可扩展性。为了解决这些问题，本文提出了一种新颖的个性化联邦学习框架（LoMo-Fed）。该框架将低秩适应（LoRA）集成到本地网络的共享主干网络中，通过调整低秩增量矩阵来近似全参数更新，从而将通信开销降低了1-2个数量级。此外，它在本地网络的个性化头部引入了分层专家混合（MoE）机制，明确地将专家分为参与聚合的全局专家和独立更新的个性化本地专家。门控网络动态地结合它们的输出，便于共享全局知识，同时确保每个客户端的个性化性能。通过替换本地模型头部和聚合LoRA参数的设计概念，我们的框架可以直接与大多数现有的基线方法集成，迅速提高它们的个性化准确性和通信效率。在公共数据集上的广泛实验表明，我们的框架在个性化准确性和通信效率方面显著优于基线方法，成功实现了本地定制和通信效率之间的有效平衡。

引言

随着物联网和边缘计算的快速发展，终端设备生成了大量数据。在这种情况下，联邦学习（FL）[20]应运而生，它使众多客户端（例如手机、物联网设备）能够在不共享本地原始数据的情况下协作训练全局模型，为数据孤岛和隐私保护问题提供了解决方案。它在工业应用中也取得了许多显著成果[24]，[33]。然而，在现实世界场景中，客户端数据通常来自不同的用户习惯和使用环境，导致数据特征是非独立同分布（Non-IID）的[15]。这种数据异质性使得为所有客户端学习统一的全局模型变得极其具有挑战性。

为了解决Non-IID数据带来的挑战，个性化联邦学习（PFL）[14]应运而生。其核心目标是为每个客户端定制一个本地模型。现有研究大致可以分为两类[30]：全局模型个性化方法和学习个性化模型。前者首先训练一个共享的全局FL模型，然后在本地进行额外训练以实现个性化。后者旨在在训练阶段直接实现模型个性化，可以进一步分为基于架构的方法和基于相似性的方法。基于架构的方法将模型划分为共享部分和个性化部分，仅聚合前者。另一类工作通过数据蒸馏实现知识转移来达到个性化。另一方面，基于相似性的方法采用多任务学习、模型插值、聚类等技术在相似客户端之间实现个性化。尽管这些方法取得了一些进展，但它们往往难以在个性化性能和通信效率之间取得平衡。一方面，强大的个性化需要足够的模型容量和灵活性，这可能会增加通信负担；另一方面，激进的通信压缩可能会限制模型的表达能力并影响性能。

同时，通信瓶颈是阻碍联邦学习大规模采用的另一个核心障碍[17]。频繁上传和下载大型模型更新对带宽和客户端资源造成了巨大压力。最近，参数高效微调技术，特别是低秩适应（LoRA）[8]，在自然语言处理和图像生成等领域展现了显著的性能。通过引入可训练的低秩矩阵来近似权重更新，LoRA大幅减少了需要训练和传输的参数数量。然而，如何有效地将LoRA的效率与个性化联邦学习的更深层次要求结合起来仍然是一个未解决的问题。

另一方面，专家混合（MoE）模型[10]以其强大的表示能力和条件计算特性为个性化联邦学习提供了新的视角。通过使用门控网络动态选择和组合不同输入的多个专家，MoE本质上适合捕捉数据中的异质模式。然而，简单地将MoE应用于联邦学习并不能从根本上解决全局知识和本地知识之间的冲突。此外，由于专家的同质化，它可能会增加通信开销并失去个性化优势。基于上述分析，本文提出了LoMo-Fed，这是一种结合了LoRA和分层MoE的新型个性化联邦学习框架。我们的主要贡献如下：

• •
  我们将LoRA集成到联邦学习本地网络的共享主干网络中。客户端只需上传低秩增量矩阵，从而将通信开销降低了1-2个数量级，几乎不会损失性能。
• •
  我们创新地将MoE中的专家分为全局专家和本地专家。全局专家通过联邦聚合学习通用表示，而本地专家完全位于客户端侧，专注于拟合本地数据。这两种类型的专家通过轻量级的个性化门控网络进行平衡，有效地在知识共享和专业化之间取得了平衡。
• •
  我们在公共数据集上进行了广泛的实验。结果表明，LoMo-Fed在个性化准确性和通信效率方面显著优于现有方法。此外，消融研究证实了每个核心组件的有效性。

本文的其余部分组织如下：第2节介绍相关工作；第3节详细阐述LoMo-Fed的框架设计；第4节介绍实验设置；第5节提供实验分析；第6节总结本文并概述未来的工作。

章节片段

相关工作

本节系统地回顾了个性化联邦学习及相关领域（如低秩适应模型和专家混合模型）的相关工作，为所提出的方法奠定了理论基础。

方法论

在本节中，我们详细介绍了所提出的个性化联邦学习框架。如图3所示，在本地训练阶段，我们将客户端的本地网络明确划分为两个部分：一个共享主干模块

数据集和数据划分

为了评估所提出框架的性能，我们在四个广泛使用的图像分类基准数据集上进行了实验：CIFAR-10：包含10个类别，60,000张32x32彩色图像（50,000张用于训练，10,000张用于测试）。CIFAR-100：包含100个类别，60,000张图像（50,000张用于训练，10,000张用于测试）。Tiny ImageNet：包含200个类别，100,000张64x64彩色图像（100,000张用于训练，10,000张用于验证，10,000张用于测试）。SVHN：包括10

与基线方法的全面比较

在本节中，我们将LoMo-Fed与各种主流和最先进的个性化联邦学习方法进行了比较。为了全面评估其性能，我们在四个数据集SVHN、CIFAR-10、CIFAR-100和Tiny ImageNet上进行了实验——在三种不同的非独立同分布（Non-IID）数据异质性程度下，即

结论

本文旨在解决实际联邦学习应用中的两个核心挑战：由于Non-IID数据导致的性能下降和高通信成本。为此，我们提出了一种新颖的个性化联邦学习框架LoMo-Fed，该框架结合了低秩适应（LoRA）和分层专家混合（MoE）。通过在公共数据集上的广泛实验，我们验证了LoMo-Fed框架在多个维度上的有效性。结果表明，LoMo-Fed

CRediT作者贡献声明

天桑：撰写——原始草稿，软件，方法论，概念化。朱光初：撰写——审阅与编辑，数据管理。蒋轩：可视化，验证。张星：监督，项目管理，资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

天桑目前在中国锦州的辽宁工程技术大学电子与信息工程学院攻读硕士学位。她的主要研究方向是联邦学习。