FedPFC：通过动态分类器适配实现联邦原型级融合，以支持全局个性化学习

《Information Fusion》：FedPFC: Federated Prototype-wise Fusion via Dynamic Classifier Adaptation for Global-Personalized Learning

本文提出FedPFC框架，通过动态融合全局与本地分类器，结合分类损失加权原型聚合策略，有效解决异构联邦学习中的全局原型失真和全局分类器与本地个性化需求冲突问题，在多个数据集上验证其优于传统方法。

　　

魏全强|吴正达|朱京华

黑龙江大学计算机与大数据学院，哈尔滨，150000，中国

摘要

联邦学习（FL）作为一种保护隐私的范式，已被用于分布式模型训练和跨分散客户端的融合。尽管基于原型的FL为解决传统FL架构中的数据异质性和通信开销提供了有希望的解决方案，但它仍然存在两个根本性限制：1）通过简单的加权平均融合局部原型得到的全局原型不理想，导致特征表示失真；2）全局分类器共享与客户端特定个性化之间存在固有的冲突。为了解决这些挑战，我们提出了FedPFC（基于原型的联邦融合方法通过分类器适应），这是一种新颖的融合方法，它可以动态确定全局分类器应融合的程度，以实现全局个性化学习。FedPFC能够自适应地平衡全局原型学习和局部原型适应，使客户端同时实现全局泛化和个性化优化。此外，为了减轻客户端差异的影响，我们引入了分类器感知的全局原型学习，该方法使用分类器损失加权融合策略，赋予分类良好的客户端原型更高的重要性。这增强了特征空间中的类别可分性，并加强了全局知识转移。在包括FashionMNIST、Cifar10、Cifar100和Flowers102在内的多个数据集上的广泛实验表明，FedPFC比现有的基于原型的联邦学习方法取得了更高的平均准确率。在Cifar100上，我们的方法在模型同质设置下将平均测试准确率提高了4.96%，在模型异质设置下提高了10.66%，表明其在解决全局原型失真和全局泛化与客户端特定个性化之间的权衡方面的潜力。

引言

联邦学习（FL）是一种协作式机器学习框架，它允许多个设备在本地训练模型，并仅上传模型参数或梯度以进行全局模型融合，而无需传输原始数据，从而在保护数据隐私的同时实现协作训练[1]。FL在数据隐私至关重要的各个行业中具有重要的实际价值。对于医疗机构来说尤其有益，它使医院能够在不共享敏感患者数据的情况下协作训练诊断模型。金融机构可以利用FL通过结合多家银行的洞察来开发欺诈检测系统，同时保护客户隐私。此外，移动应用程序利用这项技术通过个性化键盘建议和语音助手来改善用户体验，而不会将个人打字模式或语音记录暴露给中央服务器。这些多样化的用例展示了FL在保持严格隐私控制的同时，革新数据驱动协作的潜力。

FL的迭代过程如下：在每一轮开始时，本地客户端下载全局模型，并在其本地数据上重新训练模型；然后，通过融合本地模型在服务器端更新全局模型。虽然传统的FL（如FedAvg[1]）能够实现保护隐私的协作模型训练，但其实际部署面临两个根本性挑战：客户端数据之间的统计异质性[2]和客户端模型之间的架构异质性。现有的个性化FL方法虽然在处理非独立同分布（Non-IID）数据方面有效，但通常采用统一的模型架构，并依赖于将模型参数传输到服务器，这限制了其在现实世界中的适用性。新兴的异构FL（HtFL）[3]范式通过允许多样化的客户端模型和增强的隐私保护来解决这些限制。

然而，当前的HtFL方法在有效整合全局知识和局部知识方面存在不足。基于原型的方法[4]虽然通信效率高，但在客户端数据分布差异较大时往往会聚合低质量的原型。同时，全局分类器共享策略可能会因忽视具有独特数据特征的客户端的需求而损害其性能。

现有方案的局限性主要源于表示聚合和决策制定之间的结构不匹配。大多数原型学习方法侧重于通过原型聚合来对齐特征表示[4]，同时隐含地假设一旦表示对齐，全局共享的分类器可以有效服务于所有客户端[5]。然而，在数据分布异构的情况下，类别原型在质量和对齐程度上可能存在显著差异，使得统一分类器共享对于某些类别来说是不理想的甚至是有害的。因此，仅改进原型聚合不足以解决这个问题[6]。

一些先前的研究尝试从不同角度解决这部分问题。一些工作改进了原型聚合策略以减轻表示失真，而其他工作则专注于个性化分类器或局部头以适应决策边界[7]。然而，这些方法将表示聚合和分类器个性化视为独立的问题。据我们所知，没有现有方法利用类别级原型作为决策信号，在统一框架内共同调节原型聚合和分类器共享。

这些观察引发了一个自然的问题：当类别原型在对齐和质量上存在异质性时，是否应该在整个客户端和类别中统一强制执行分类器共享？为了克服这些限制，我们提出了FedPFC，一种通过分类器适应的联邦原型级融合框架。我们的方法引入了两个关键创新：（1）局部原型感知分类器选择（LPCS）机制，它允许客户端根据分布适应性动态选择局部分类器和全局分类器。具体来说，可以使用包含本地数据分布信息的客户端类别原型来获得局部和全局分类器的预测准确性。然后选择准确性更高的分类器作为后续训练过程的分类器[8]。这样，数据分布与全局分类器对齐良好的客户端可以充分利用全局分类器来增强泛化能力。相反，对于数据分布独特的客户端，局部分类器更适合个性化学习。（2）分类器感知的全局原型学习（CAGP）策略，通过分类器损失感知加权来优化原型聚合。具体来说，对于给定的类别原型，分类损失较小的客户端在融合中被赋予更大的权重，确保全局原型在特征空间中表现出更好的类别分离，保持不同类别之间的清晰区分，从而增强全局知识的有效性和稳定性。通过智能平衡全局知识整合与局部个性化，FedPFC在各种异构设置中实现了显著的性能提升，综合评估显示其准确率相比传统方法提高了多达10.66%。

我们的贡献如下：

•

我们提出了一种新颖的联邦学习方法FedPFC，通过在全局知识和局部知识之间取得平衡，在数据和模型异构的情景中提高了模型性能。

•

我们提出了LPCS，根据局部类别原型动态决定是否使用全局分类器信息，从而在数据和模型异构的情景中提高客户端模型性能，同时确保个性化。

•

我们引入了CAGP，在模型同质情景中根据客户端分类损失动态生成全局类别原型，提高了全局原型的质量。

•

我们在各种设置下对FedPFC进行了全面评估。在Cifar100数据集上，FedPFC的表现优于传统方法，在模型同质情景下准确率提高了4.96%，在模型异质情景下提高了10.66%。

本文的其余部分组织如下：第2节（相关工作）回顾了关于个性化联邦学习、基于原型的联邦学习和分类器共享方法的现有研究。第3节（方法）详细介绍了提出的FedPFC框架。第4节（实验）报告了在多个基准数据集上的实验设置和评估结果。最后，第5节（结论和未来工作）总结了本文并讨论了未来研究的潜在方向。

部分摘录

个性化联邦学习

传统的FL方法（如FedAvg[1]）在面对数据异质性时会出现性能下降[2]，以及潜在的隐私风险，如推理攻击[9]。这个问题可以通过个性化FL（pFL）[3] [10]方法来解决，这些方法通过为每个客户端优化个性化模型参数来处理数据异质性。个性化联邦学习（PFL）旨在在保护数据隐私的同时增强本地模型的个性化能力，从而适应

问题阐述

在联邦学习（FL）中，D_i代表每个客户端拥有的本地私有数据集，其中x和y分别表示输入特征和相应的类别标签。整个联邦学习系统由多个客户端组成，N表示所有客户端的样本总数，m表示客户端数量[1]。每个客户端的数据可能表现出非独立同分布（Non-IID）特征，这意味着数据

数据集

我们通过在四个基准图像数据集Cifar10、Cifar100[23]、FashionMNIST[24]和Flowers102[25]上测量平均测试准确率来评估所提出的方法。

骨干网络

在模型同质实验中，我们使用了一个四层CNN模型[1]。在模型异质实验中，我们采用了FedTGP[21]中提出的模型异质性设置HtFE8，其中包括八种架构：4层CNN[1]、GoogleNet[26]、MobileNetV2[27]、ResNet18、ResNet34、ResNet50、ResNet101和ResNet152[28]。为了

结论和未来工作

在本文中，我们提出了一种新颖的异构联邦学习框架FedPFC。在FedPFC中，我们设计了一种局部原型感知分类器选择策略LPCS，通过动态确定是否使用全局分类器来增强在数据和模型异质性情景中客户端模型的性能，同时确保个性化，这是通过全局和局部分类器的评估来实现的。我们还设计了一种分类器感知的全局原型

未引用的参考文献

表1、图2、图3和算法1

CRediT作者贡献声明

魏全强：撰写——原始草稿、方法论、概念化。吴正达：可视化、验证、数据整理。朱京华：撰写——审阅与编辑、监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。