MAFSA：一种在边缘计算中具有过时感知能力的多层异步联邦学习方法

《Engineering Applications of Artificial Intelligence》：MAFSA: A multi-layer asynchronous federated learning with staleness-awareness in edge computing

联邦学习通过分层异步架构和过期模型加权策略解决客户端流失和通信冗余问题，提升资源利用率与系统公平性，实验验证了其有效性。

　　

张世文|陈双|张玉佳|梁伟|李宽成|李玲辉|李克勤

湖南科技大学计算机科学与工程学院，湘潭，中国

摘要

联邦学习（FL）作为一种保护隐私的方案，在边缘计算中展现出巨大潜力。然而，传统的基于云的FL架构仍然存在较高的通信开销问题，这促使人们开发出分层和异步的变体以提升通信效率。但是，传统的云-端架构必须等待所有设备完成更新后才能继续进行训练，从而导致训练效率低下。此外，终端设备的退出现象还会造成资源浪费，进而影响系统的公平性。在这项工作中，我们提出了MAFSA，这是一种具有过时信息感知能力的多层异步联邦学习方案，旨在在保持准确性的同时提高系统效率和资源利用率，并确保公平性。MAFSA提出了一种复合异步聚合策略来解决由于设备异构性导致的效率问题，并提升系统的通信效率。此外，MAFSA还引入了过时信息感知机制来应对终端设备的退出情况，提高资源利用率并确保系统的公平性。大量实验表明，所提出的方案能够有效利用过时信息，显著提升了联邦学习系统的性能，证明了该方法的有效性。

引言

近年来，人工智能（AI）和机器学习（ML）的广泛应用和发展引起了广泛关注（Li等人，2018年；Cai等人，2023年；Liang等人，2025年）。传统的机器学习方法（Bonawitz等人，2019年；Kairouz等人，2021年）通常依赖于集中式的数据存储和处理，虽然这种方法有效，但往往存在严重的隐私问题和数据泄露风险（Liang等人，2023年；Zhang等人，2024年；Zhang等人，2023年）。为了解决这些问题，联邦学习（FL）作为一种有前景的范式应运而生，它能够在分布式设备之间进行协作式模型训练，而无需数据共享（McMahan等人，2017年；Li等人，2020a；Zhang等人，2025年）。然而，传统的FL框架假设数据分布、模型架构和设备能力是均匀的，而在现实世界中这些因素往往存在差异。这种差异导致了“尾拖”问题，即异构设备的性能显著延长了训练时间（Verma等人，2018年；Yang等人，2019年）。随着移动边缘计算（MEC）（Lim等人，2020年；Zhao等人，2022年；Zeng等人，2022年）的引入，分层联邦学习（HFL）可以利用边缘层的丰富计算和存储资源，从而大幅减少与云端的昂贵通信需求。图1展示了传统联邦学习与客户端-边缘-云分层联邦学习的对比。

尽管取得了这些进展，但由于终端设备的资源有限且异构性较强，传统的云-端FL架构（Chai等人，2021年）仍面临挑战。通信带宽有限、计算能力受限以及设备退出等问题（Wang等人，2020年；Che等人，2023年）加剧了传统FL框架的效率低下问题，因为这些框架只有在所有设备完成训练后才会同步更新。这种方法忽略了资源异构性，导致训练时间浪费和系统效率降低。此外，训练过程中的设备退出还会导致资源利用率降低和公平性受损。

在现实世界的联邦学习部署中，设备在计算能力、通信带宽和能源可用性方面的异构性常常导致训练效率低下。为直接应对这一挑战，近期的一些研究（Li等人，2020b；Yao和Sun，2020年；Karimireddy等人，2020年；Sprague等人，2019年；Yan等人，2023年；Diao等人，2021年；Liu等人，2022年；Lee等人，2024年）提出了针对资源受限客户端的适应性解决方案。一些方法（Li等人，2020b；Yao和Sun，2020年；Karimireddy等人，2020年）通过将正则化项纳入局部损失函数来增强模型的泛化能力，从而减轻数据异构性的影响。然而，这些方法只能得到一个统一的全局模型，限制了其适用性。其他方法（Sprague等人，2019年；Yan等人，2023年）探索了异步FL来缓解设备异构性的影响，但这些方法由于单次更新的聚合可能导致全局模型收敛不稳定。尽管异步联邦学习已被广泛用于缓解客户端异构性导致的同步瓶颈问题，但许多现有方法仍因聚合过时更新而存在不稳定性。不过，一些研究（Diao等人，2021年；Liu等人，2022年；Lee等人，2024年）表明，如果正确控制过时信息的范围，异步方法仍能保证收敛。这些见解启发了我们提出框架的设计，该框架采用了复合步异步聚合策略和过时信息感知更新机制。与以往丢弃过时更新或引入复杂正则化的方法不同，我们提出的框架明确地重新利用了过时模型，并通过自适应权重调整来提高分层FL设置中的效率和公平性。

为了解决客户端退出问题，已经提出了几种策略。Wu等人（2021b；Wu等人，2021a）引入了客户端选择机制来优先处理稳定设备，从而降低退出率。Nishio和Yonetani（2019年）以及Nunes等人（2024年）利用截止时间在限定时间内聚合更新，提高了训练效率。然而，这些方法未能完全解决问题，因为边缘设备仍然资源受限且容易意外退出，导致资源利用率低下。与简单排除退出客户端的方法不同，我们的方法通过过时信息感知加权机制重新利用它们的过时更新，从而提高资源利用率和公平性。

为了更高效地利用资源并提高其利用率，已经提出了几种策略。Chen等人（2021年）提出了具有过时信息感知能力的异步随机梯度下降（Async-SGD），该方法动态调整学习率以减轻过时更新的负面影响。Xie等人（2020年）提出了FedAsync框架，该框架结合了过时信息感知聚合机制来控制过时模型的影响并确保收敛。Luo等人（2022年）开发了一种自适应客户端采样策略，以应对系统和统计异构性问题，通过动态选择及时更新的客户端来减少过时情况。然而，这些方法在完全解决过时问题方面仍面临挑战，因为边缘设备通常在资源受限和网络条件不可预测的情况下运行，导致参与不一致和更新延迟。需要进一步研究来设计更加稳健和高效的过时信息感知算法，以适应联邦学习环境的动态和异构性。受这些挑战的启发，我们的方法采用了一种复合异步聚合策略，同时在提高通信效率的同时保持模型稳定性。此外，我们在分层框架中加入了基于衰减的过时信息调整机制，以有效控制过时更新的影响并支持收敛。

在这项工作中，我们提出了MAFSA，这是一种具有过时信息感知能力的多层异步联邦学习方案，能够在不牺牲准确性和效率的情况下解决客户端退出问题。考虑到网络条件，我们将边缘层纳入云架构，并采用复合异步聚合策略来提高通信效率和准确性。为了解决客户端退出问题，我们随后提出了一个过时信息感知机制。我们使用了一种权重缩放规则，同时处理客户端的过时模型以恢复在线状态和新鲜模型以保持在线状态，从而减少数据损失并提高资源利用率。最后，我们设计了大量实验来证明MAFSA方案的有效性。总体而言，通过解决现有FL框架的局限性，MAFSA为在异构边缘环境中实现高效、准确和公平的联邦学习迈出了重要一步。我们的贡献如下：

• •
  为了在不影响系统准确性的同时提高系统效率和资源利用率，并确保公平性，我们提出了MAFSA方案，这是一种具有过时信息感知能力的多层异步联邦学习方案。
• •
  为了加速联邦学习，我们提出了一种复合异步聚合策略。在边缘服务器集群内采用同步策略，而在集群外的云服务器上采用异步策略以提高效率。
• •
  为了解决客户端退出问题，我们提出了一种过时信息感知机制来提高资源利用率。通过在客户端更新之前缩放过期更新的权重，我们利用了退出客户端的资源，提高了资源可用性，确保了联合学习的公平性。
• •
  为了评估所提算法的优势，我们在模拟环境中进行了大量实验。实验结果表明，我们的算法充分利用了离线客户端，显著提升了联邦学习系统的性能，并证明了该方法的有效性。

本文的其余部分组织如下：第2节介绍了相关工作和背景；第3节阐述了问题陈述和系统模型细节；第4节描述了所提算法；第5节评估了算法的性能；最后，第6节给出了结论性意见和未来发展方向。

相关工作

相关研究

效率低下的联邦学习：为了解决联邦学习在云服务器上导致的训练效率低下问题，分层联邦学习受到了广泛关注。Liu等人（2020年）构建了一个基本的云-边缘-端架构，通过减少终端设备的模型训练时间和能耗来降低通信开销并提高效率。在此基础上，Luo等人（2020年）和Abad等人（2020年）进一步考虑了客户端异构性问题。

初步介绍

在本节中，我们首先介绍了经典联邦学习方法的训练过程，并正式定义了联邦学习中的新鲜度概念。随后，我们介绍了MAFSA并详细阐述了问题的定义。

算法设计

为了降低通信开销并确保系统的公平性而不影响准确性，我们在本节正式提出了MAFSA。MAFSA通过减少云聚合轮次并采用复合步同步和异步算法以及过时信息感知算法来实现这些目标。

实验结果

在本节中，我们进行了一系列实验来评估所提算法的有效性。我们详细讨论了实验设置，然后展示了在两个数据集上训练获得的实验结果。最后，我们对这些结果进行了总结和讨论。

结论性意见和未来工作

为了解决客户端退出问题而不牺牲准确性和效率，我们提出了MAFSA，这是一种具有过时信息感知能力的多层异步联邦学习方案。与现有研究不同，我们的方案通过重新利用之前退出客户端的知识来处理退出问题，从而避免了资源浪费。为了最小化通信开销，我们将移动边缘计算引入了联邦学习框架，改变了传统的云-端架构。

CRediT作者贡献声明

张世文：验证、监督、项目管理、方法论、调查、资金获取、概念化。陈双：撰写——原始草稿、资源获取、调查、形式分析、数据整理。张玉佳：撰写——原始草稿、可视化、资源获取、方法论、调查、形式分析。梁伟：撰写——审稿与编辑、可视化、监督、资源获取、调查。李宽成：撰写——审稿与编辑、可视化、验证

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了教育部（中国）人文与社会科学项目（编号：25YJAZH242）、湖南省教育厅科研基金（编号：24A0337）和湖南省自然科学基金（编号：2025JJ50348）的支持。