FedACA：用于个性化异构联邦学习的自适应分类器聚合与聚类

《Neurocomputing》：FedACA: Adaptive classifier aggregation and clustering for personalized heterogeneous federated learning

联邦自适应聚类聚合框架 FedACA 通过改进原型聚合方法解决异构联邦学习中的类不平衡、原型偏移和分布倾斜问题，采用自适应K-means聚类优化局部原型，基于原型相似性进行集群头匹配以融合个性化分类器，并引入个性化头融合机制平衡全局指导与本地适应。实验表明该方法在异构环境下相比现有方法提升9.66%准确率。

　　

Jichen Dong|Yingchun Cui|Zhengda Wu|Heran Xi|Jinghua Zhu

中国黑龙江省哈尔滨市黑龙江大学，邮编150080

摘要

异构联邦学习旨在解决由于数据、模型和设备异构性导致的收敛速度慢和通信成本高的问题。基于原型的方法通过在客户端之间共享类原型而非模型参数来降低通信成本。然而，现有方法仍然存在原型偏移、边界模糊和分布不平衡等问题。为了克服这些挑战，我们提出了FedACA（联邦自适应聚类聚合）这一新的联邦学习框架，该框架结合了自适应聚类和个人化分类器聚合机制。FedACA有三个核心创新点：自适应K均值聚类，通过自适应调整聚类中心来提高局部原型的质量，而不仅仅是简单的特征平均；聚类头匹配，将具有相似原型的客户端分组，并将它们的局部分类器融合为一个混合分类器，以缓解类别不平衡问题；个性化头融合，客户端通过元学习引导的聚合自适应地融合全局和局部分类器，从而细化决策边界。我们在各种数据集上进行了广泛的实验，并将我们的FedACA与现有方法进行了比较。结果表明，在异构环境下，我们的方法准确率提高了9.66%，证明了其在不同条件下的有效性。

引言

联邦学习（FL）最早由谷歌在2016年提出[1]，它允许在多个设备或组织之间进行协作式模型训练，而无需集中访问原始数据。通过仅允许参与者（客户端）交换模型更新而不是敏感的本地数据，FL提供了强大的隐私保护，并显著降低了数据泄露的风险[2]、[3]。因此，FL已被广泛应用于医疗保健、金融和智能交通系统等对隐私敏感的应用领域。

尽管具有这些优势，但在实际应用中，传统FL面临一些根本性挑战。特别是，客户端数据通常并不符合独立同分布（IID）的假设。由于高度非IID的本地数据集导致的统计异构性常常会导致客户端漂移和收敛行为不稳定。此外，设备能力的巨大差异引入了系统级限制，因为本地训练通常需要大量的计算和内存资源，使得标准FL在资源有限的设备上难以实现。这些问题还因去中心化和异步更新而变得更加复杂，这经常导致收敛速度慢和全局模型性能不佳[4]、[5]。

为此，最近的一些异构联邦学习方法不再交换完整的模型参数，而是共享各种形式的全局知识，以减少通信开销并提高模型性能[6]。其中，基于原型的方法（如FedProto）通过在服务器上进行加权平均来聚合来自不同客户端的局部类原型。虽然这种方法简单且通信效率高，但它隐含地假设所有客户端的局部原型是可比较的且信息量相当。然而，在异构环境中，这种假设很少成立，因为客户端在数据量、数据质量和特征提取能力方面存在显著差异。因此，简单的平均往往无法准确反映每个客户端的真实贡献，导致全局原型存在偏差，从而影响性能[7]。

此外，由不同客户端生成的原型在规模、分散度和分离边界上存在差异。直接对这些异构原型进行平均会导致全局原型的判别能力下降，类间边界变窄——这种现象称为原型边界收缩。尽管FedTGP通过引入可训练的全局原型和自适应边界部分缓解了这一问题，但它仍然依赖于基于均值的局部原型构建和聚合方法。因此，本地数据分布中丰富的类内结构信息未能得到充分利用，限制了局部和聚合后全局原型的准确性，特别是在严重异构性条件下[8]。

更根本的是，基于均值的原型聚合在异构特征提取器下存在固有局限性。当客户端使用不同的骨干架构或学习具有不同几何特性的表示时，局部类原型不再位于一个共享的、可比较的特征空间中。在这种情况下，即使按数据量加权，简单的平均也无法准确反映真实的语义中心。

这种局限性是结构性的，而非算法上的：一旦异构特征分布被压缩到一个中心点，任何聚合权重的选择都无法恢复丢失的类内结构信息。因此，在异构联邦学习环境中，原型偏移和边界收缩不仅是优化过程中的副产品，而是基于均值构建原型的必然结果。

图1展示了不同原型聚合策略的对比。左侧面板显示了原始特征空间，其中橙色圆圈和蓝色三角形代表来自两个不同类的样本。右侧面板分别展示了通过简单平均和提出的自适应聚类策略得到的聚合原型。

与基于均值的聚合不同，后者将同一类的所有样本压缩到一个中心点，从而掩盖了内在的结构差异，而自适应K均值方法动态地为每个类确定适当的聚类数量，并识别多个代表性的子中心。通过显式建模类内子结构，该方法保留了细粒度的特征分布，减轻了由异构性引起的原型失真。因此，得到的原型为分类提供了更详细的语义指导，从而在异构和非独立同分布数据下实现了更准确的决策边界和更好的鲁棒性。

此外，大多数现有的异构联邦学习方法要么隐含地假设分类器是同质的，要么采用简单的局部分类器融合策略。这些设计大多忽略了在客户端之间显式协调分类器知识的潜力，从而错过了有效整合全局语义信息与客户端特定决策特性的机会。结果，局部分类器在数据异构性和类别不平衡的情况下往往具有模糊或次优的决策边界[9]。

要解决这些问题，必须超越那些优先考虑最小化计算或通信效率的设计。特别是，要减轻原型失真和有害的分类器协作，需要显式建模类内结构和客户端之间的语义相似性。虽然这不可避免地会增加计算成本，但这种开销对于解决上述结构问题至关重要。

为了解决这些问题，我们提出了FedACA，这是一个将原型优化与基于相似性的分类器协作相结合的异构联邦学习框架。FedACA由三个紧密连接的组件组成：

•

自适应K均值聚类（A-KMeans）用于局部原型优化。A-KMeans通过自适应捕获类内子结构，而不是将异构特征压缩到一个中心点，从而减轻了由异构特征提取器引起的原型偏移。

•

聚类头匹配（CHM）用于选择性分类器协作。CHM根据原型引导的语义相似性对客户端进行分组，避免了不兼容分类器之间的有害聚合，并减轻了由类别不平衡引起的分类器偏差。

•

个性化头融合（PHF）用于平衡全局指导和局部适应。PHF将组级聚合的分类器与局部分类器自适应融合，从而实现更清晰、更可靠的客户端特定决策边界。

部分摘录

个性化联邦学习

个性化联邦学习旨在通过学习全局模型和客户端特定模型来减轻由于客户端之间的统计异构性导致的性能下降。现有的个性化联邦学习方法大致可以分为三类：（1）基于模型正则化的方法，这些方法限制局部更新以保持与全局模型的接近（例如FedProx [10]、pFedMe [11]）；（2）基于元学习的方法，这些方法旨在学习一个可以快速适应的初始化或元模型

方法

在本节中，我们首先介绍了异构联邦学习的工作流程和挑战。然后描述了我们提出的FedACA的每个关键组成部分。表1提供了我们方法中使用的符号和解释。

实验设置

数据集。我们在三个广泛使用的图像分类基准数据集上评估了我们的方法：CIFAR-10和CIFAR-100 [36]，以及Oxford Flowers-102 [37]。这些数据集涵盖了不同的领域和规模。遵循联邦学习的常见做法，我们构建了异构和非独立同分布（non-IID）的客户端数据分区，并在需要时调整参与类别的数量以匹配不同的实验设置。

基线算法。为了验证我们的FedACA算法，我们还将它与六种其他算法进行了比较

收敛性分析

在本节中，我们分析了FedACA的收敛情况。$$表示当前的通信轮次。在第$$轮次中，客户端用我们提出的聚类头匹配（CHM）策略生成的个性化全局头替换了它们的局部预测头。

我们用$$表示第$$轮次中客户端的局部模型，其中$$是特征提取器，$$是局部分类器头。让$$表示第$$轮次中CHM为客户端$$生成的个性化全局头（而$$是

结论与未来工作

在本文中，我们提出了FedACA，这是一个针对异构联邦学习（HtFL）的自适应聚类聚合框架，旨在解决三个关键问题：原型偏移、模糊的决策边界和非独立同分布数据及异构骨干下的分布不平衡。FedACA结合了精细的原型构建和基于相似性的分类器协作，以提高全局可迁移性和局部个性化。具体来说，（i）A-KMeans通过

CRediT作者贡献声明

Jichen Dong：撰写——原始草稿、方法论、研究。Yingchun Cui：撰写——审阅与编辑、形式分析。Zhengda Wu：可视化、形式分析、数据管理。Heran Xi：软件开发、资源协调。Jinghua Zhu：监督、概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

Jichen Dong是中国黑龙江大学计算机与大数据学院的硕士研究生。他的研究兴趣包括联邦学习、半监督学习和机器学习。