FedMT：具有竞争性GPU资源共享的多任务联邦学习

《IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems》：FedMT: Multitask Federated Learning With Competitive GPU Resource Sharing

联邦学习处理异构复合任务时存在数据分布不均和GPU资源分配问题，本文提出全栈优化方案，通过虚拟资源概念协调任务间资源利用，并设计架构级调度策略提升多任务FL效率，实验显示GPU训练吞吐量提升2.16-2.38倍，跨设备协调效率提升2.53-2.80倍。

　　

摘要：

随着认知应用复杂性的增加，联邦学习（FL）如今涉及异构的复合学习任务。例如，自动驾驶系统同时处理多种任务（如检测、分类和分割），并期望FL能够持续保持智能能力。然而，我们的分析表明，在GPU上部署用于多种训练任务的复合FL模型时，会出现一些问题：由于不同任务的数据分布不均衡以及相应的模型导致学习工作负载严重不平衡，现有的GPU调度方法缺乏有效的资源分配机制。因此，仅关注异构数据分布而忽略运行时计算的现有FL方案无法实现最佳同步的联邦学习。为了解决这些问题，我们提出了一种全栈FL优化方案，以解决设备内部的GPU调度和设备之间的FL协调问题，从而实现多任务训练。具体来说，我们的研究在这个领域揭示了两个关键见解：竞争性资源共享有利于并行模型执行；所提出的“虚拟资源”概念能够有效地描述和指导实际的任务资源利用和分配。此外，架构层面的协调通过使任务工作负载与GPU利用率相匹配来提升FL性能。实验表明，FL性能得到了显著提升。具体而言，我们观察到设备内部GPU训练吞吐量提高了2.16倍 – 2.38倍，而在不同多任务场景下的设备间FL协调效率提高了2.53倍 – 2.80倍。