编辑推荐：
Semi-AFL通过混合同步与异步聚合缓解了设备异构性和网络延迟带来的效率问题，但在带宽受限场景下存在模型过时和通信开销大等挑战。本文提出Fed3TO框架，通过任务接管机制动态分配训练任务以减少等待时间，并设计PPOGS算法优化梯度稀疏化策略，在模型轻量化90%的同时保持5%的精度损失。实验表明该方法使通信成本降低30%，训练速度提升25%，过时模型比例接近同步FL。
陈子轩|芮兰兰|林一静|李子涵|高志鹏|邱学松|郭少勇
北京邮电大学网络与交换技术国家重点实验室，中国北京市海淀区西土城路10号，邮编100876
摘要
半异步联邦学习（Semi-AFL）发展迅速，有效缓解了“落后者效应”，并提高了对异构环境的适应能力。然而，Semi-AFL仍面临一些问题：由于客户端需要等待数据聚合，以及计算能力较弱的客户端使用过时模型，导致联邦学习效率较低，尤其是在带宽受限的网络环境中。此外，尽管近年来提出的Semi-AFL方法引入了梯度下降和量化等模型轻量化技术以减轻带宽限制的影响，但在进行高强度轻量化处理时仍会导致模型误差较大。本文提出了一种基于Semi-AFL的“紧密任务接管”（Fed3TO）聚合方法，通过让模型年龄较大的客户端接管其他即将过时的客户端的训练任务，从而提高资源利用率和训练速度。同时，本文还提出了一种基于优化的PPO算法和梯度稀疏化（PPOGS）机制，动态调整轻量化比例，以实现低传输负载和高模型精度。仿真结果表明，在非独立同分布（Non-IID）场景下，该方法可将模型重量减轻90%，同时仅损失5%的精度，资源利用率提高14%，过时模型比例降低，联邦学习速度提高25%以上，通信成本降低30%。
引言
移动设备、物联网（IoT）终端和边缘计算基础设施的迅速普及使得联邦学习（FL）成为边缘智能系统中的关键技术之一，它能够在确保数据隐私的同时实现分布式协同建模[1]。与集中式训练相比，FL允许终端设备在本地数据进行训练，并通过无线链接将训练好的模型传输到服务器，从而有效适应边缘环境的特性[2]。研究人员提出了多种优化策略，例如半异步联邦学习（Semi-AFL），进一步简化了边缘端的FL实现。
Semi-AFL结合了同步和异步聚合方式，允许某些客户端在无需等待其他客户端完成训练的情况下上传模型更新，从而有效缓解了由于设备性能差异或网络延迟导致的“落后者效应”。与同步方法相比，Semi-AFL提高了系统训练效率；与完全异步方法相比，通过引入延迟窗口和时间戳衰减等机制，减少了过时模型对全局收敛的负面影响。在边缘计算环境中，Semi-AFL显著提升了通信灵活性和系统鲁棒性，因此在涉及异构设备和不稳定网络的FL场景中得到广泛应用。
然而，边缘智能的需求促进了大规模计算、存储和网络设备的普及，为大量人工智能（AI）服务提供了平台，使大量智能设备能够通过内置传感器获取任务相关数据、进行本地训练并迭代交换模型更新。在这种情况下，带宽会被共享，多个用户可能会同时竞争有限的带宽，尤其是在用户密集的区域，带宽使用会变得非常紧张[3]。这些情况可能导致个别客户端的带宽频繁且不可预测地减少，从而严重影响设备间的通信，进而大幅降低FL任务的效率和效果[4]。因此，有必要通过轻量化模型参数或梯度来减小传输模型的大小[5]。带宽越低，所需的模型体积就越小，传输速度也就越快。当前用于带宽受限网络的Semi-AFL和模型轻量化方法存在以下问题：
1.带宽限制导致模型聚合过程中的传输时间延长。现有的Semi-AFL方法要么导致客户端在等待聚合时出现较长的空闲时间，从而降低效率，要么由于客户端异步聚合导致更多过时模型的出现。
2.为减轻带宽受限网络中的传输负载，Semi-AFL引入了模型轻量化技术。然而，现有的轻量化方法在高强度轻量化后会导致模型误差较大，进而降低全局模型的精度。
为了解决带宽受限网络中的这些问题，本文做出了以下贡献：
1.本文提出了一种基于Semi-AFL的“紧密任务接管”（Fed3TO）框架，包含一种新颖的客户端协作模型和优化的PPO基于的梯度稀疏化（PPOGS）机制，以在带宽受限的网络中实现高效联邦学习。
2.该客户端协作模型允许其他客户端根据可用资源量接管训练任务。Fed3TO减少了过时模型的出现，加快了整个联邦学习过程。
3.PPOGS机制结合了优化的近端策略优化（PPO）算法，将模型精度映射到时间维度，精确确定最佳模型轻量化比例，确保高强度轻量化后的模型精度。
与现有主要关注容忍模型陈旧或放宽同步约束的Semi-AFL方法不同，Fed3TO通过让计算能力更强的客户端接管未完成的训练任务，主动消除了等待和模型过时的问题。这种紧密任务接管机制从根本上不同于被动应对模型陈旧的方法，使得在带宽受限和异构网络环境下实现了更高效的训练流程。
本文的其余部分结构如下：第2节介绍相关工作，第3节介绍系统模型和提出的聚合方法，第4节描述模型轻量化的实现机制，第5节对算法进行仿真分析，第6节对全文进行总结。
相关研究
相关工作
本节分析了半异步联邦学习聚合和模型轻量化方法的最新研究进展。
Fed3TO聚合方法
提出的Fed3TO采用了Semi-AFL的主要架构，并结合了协作流程以增强聚合效果。训练任务的主要环节包括模型训练、上传、聚合和新数据下载阶段。在Fed3TO中，计算能力更强的客户端会接管训练任务，以避免模型因年龄过大而过时。通过这种方式，接管到的模型会在不同的数据分布上进行训练，从而提高训练效果。
提出的机制
本节介绍了PPOGS机制和优化的PPO算法，用于模型梯度稀疏化。在训练过程中，每个客户端记录每个训练时期的模型精度和时间戳。当某个客户端达到过时阈值时，会启动PPOGS流程。首先，优化后的PPO算法确定要传输的梯度稀疏化比例，然后PPOGS进行残差累积并将轻量化后的梯度发送给接管任务的客户端。
仿真
本文使用简单的CNN[27]、VGG[28]、AlexNet[29]和ResNet-50[30]网络作为联邦学习模型，并根据特定仿真场景在MNIST[31]、EMNIST[32]、CIFAR-10和CIFAR-100[33]数据集上对这些模型进行训练。仿真使用Pytorch包在配备Intel Core i9 14900 KF CPU和NVIDIA GeForce RTX 5090 GPU的服务器上进行。
局限性讨论
从实际应用的角度来看，Fed3TO特别适用于异步性适中且带宽有限的场景。在这种环境下，模型陈旧和通信开销会共同降低学习效率。因此，Fed3TO特别适合大规模边缘学习场景，如物联网分析、移动感知和联邦AI生成内容（AIGC）服务，这些场景中客户端异构性和带宽限制较为常见。在更稳定的环境中，Fed3TO可以通过相应配置进行调整。
结论
在边缘网络中，大量设备的参与会导致带宽时有时限限制，现有的Semi-AFL聚合方法会降低联邦学习效率并增加过时模型的数量，从而加剧非独立同分布（Non-IID）数据的影响。本文提出了一种基于Fed3TO的半异步联邦学习聚合方法，通过让其他客户端接管即将过时的模型的训练任务来增强协作效果。此外，该方法结合了PPOGS机制和优化的PPO算法。
CRediT作者贡献声明
陈子轩：撰写——审稿与编辑，撰写——初稿。芮兰兰：监督、方法论设计、研究实施。林一静：资源协调、概念构建。李子涵：可视化处理、验证、形式化分析。高志鹏：监督、资源管理。邱学松：验证、监督。郭少勇：监督、形式化分析。
利益冲突声明
作者声明以下可能构成潜在利益冲突的财务利益和个人关系：芮兰兰表示获得了国家自然科学基金的财务支持。如果还有其他作者，他们声明没有已知的可能影响本文工作的财务利益或个人关系。
陈子轩目前在北京邮电大学网络与交换技术国家重点实验室攻读博士学位，研究方向包括移动边缘计算和计算能力网络。芮兰兰于2010年在北京邮电大学获得计算机科学技术博士学位，现为该校的副教授。
