FL-LLM：利用大型语言模型在联邦学习中高效进行设备选择

《Computer Networks》：FL-LLM: Leveraging Large Language Models for Efficient Device Selection in Federated Learning

本文提出基于大语言模型（LLM）的联邦学习框架FL-LLM，通过分层聚合解决设备异构性和数据不平衡问题，结合轻量级LLM选择器动态优化设备分配与模型配置，显著提升准确率（平均+7.86%）并降低能耗（平均-17.95%），优于传统分层方法和强化学习基方法。

　　

Jialiang Lu|Qiang Li|He Li

吉林大学计算机科学与技术学院，长春，130015，中国

摘要

联邦学习（FL）能够在AIoT设备之间实现隐私保护的训练，但由于设备异构性、数据不平衡和能源限制的不同而面临挑战。为了解决这些问题，我们提出了FL-LLM，这是一种基于分层聚合方案的新型联邦学习框架，通过为设备分配可适应的模型大小来实现异构设备之间的协作训练。FL-LLM在服务器上部署了一个大型语言模型（LLM）驱动的设备选择器，该选择器可以解释上传的设备状态信息，通过轻量级的微调适应特定任务的需求，并生成有效的设备选择和模型分配决策。在CIFAR-10、SVHN和Fashion-MNIST数据集上的广泛实验表明，FL-LLM的性能显著优于现有的分层FL方法，平均准确率提高了7.86%，同时能耗降低了17.95%。此外，与基于DRL的方法相比，基于LLM的选择器进一步将联邦训练的准确率提高了3.02%。

引言

人工智能（AI）技术的快速发展，特别是深度学习（DL），正在加速物联网（IoT）向人工智能物联网（AIoT）的演变。通过在边缘设备上部署深度学习模型，AIoT系统具备了实时感知、控制和决策能力。这些系统已广泛应用于智能医疗[1]、[2]、自动驾驶[3]和智能监控[4]等关键场景。然而，在AIoT设备上训练准确的模型仍然具有挑战性，主要原因有两个：一方面，设备本身受到计算资源和严格隐私要求的限制；另一方面，研究表明AIoT设备容易受到安全威胁[5]，[6]，包括在开放网络环境中的分布式拒绝服务（DDoS）攻击，而且往往缺乏有效的动态防御机制。这进一步增加了系统的脆弱性。

为了解决这些隐私和安全挑战，联邦学习（FL）作为一种有前景的范式应运而生，它能够在不共享原始数据的情况下实现分布式设备之间的协作模型训练，非常适合对隐私敏感的AIoT应用[7]。尽管具有潜力，但传统的FL方法假设所有设备都使用具有相同架构的本地模型。在现实世界的部署中，AIoT系统由计算能力、数据量和通信延迟各不相同的异构设备组成。在这种环境中强制模型同质化会导致资源浪费和性能瓶颈——强大的设备闲置等待较慢的设备，而资源受限的设备在训练时遇到困难，最终降低了整体系统性能。

现有的异构FL方法主要遵循两种策略。第一种策略是模型分层，例如HeteroFL[8]、Fjord[9]和FedRolex[10]引入了模型分层和子网络选择，以便为异构设备分配不同大小的网络。然而，这些方法存在两个主要限制。一个限制是使用静态策略，客户端选择和模型分配是固定的，无法适应实时设备条件。另一个限制是忽略了设备之间的数据异构性，导致在数据对全局模型改进贡献较小的客户端上进行能耗较高的训练。

第二种策略是设备选择，其中一些节能的FL方法[11]、[12]采用基于强化学习的决策策略来选择用于训练的设备子集。然而，基于深度强化学习的方法面临几个关键挑战。首先，由于需要大量的架构设计和超参数调整工作，因此工程成本较高[13]。其次，它们的可重用性有限，因为每个任务通常需要一个专用的深度神经网络（DNN）模型，从而阻碍了知识的有效转移。第三，它们的泛化能力较弱，难以适应动态或未知的环境。

最近的研究[14]、[15]探索了使用大型语言模型（LLM）作为跨任务决策的通用基础。在大型语料库上预训练的LLM展示了强大的规划、推理和泛化能力。通过少量的任务特定微调数据，LLM可以在特定任务上表现出色，显著提高决策质量和训练效率。这种方法为联邦学习中的设备选择提供了更具通用性和可持续性的解决方案。

特别是NetLLM[14]强调了这种基于LLM的方法的一个关键优势：它能够实现“最小的工程工作量”。这种能力从根本上避免了传统方法通常需要的重复性和劳动密集型的手动设计和调整。与基于DRL的方法不同，后者需要为每个新任务或设备场景重新设计深度网络架构或调整超参数，而基于LLM的选择器利用上下文理解和适应性，只需进行轻量级的微调就能快速适应新任务和环境。此外，LLM具有显著的泛化能力，能够将预训练期间获得的知识转移到完全新的任务和环境中，并在面对以前未见过的设备状态和网络条件时保持稳定的性能。

在本文中，我们提出了FL-LLM，这是一种新型的联邦学习框架，同时解决了模型分层和设备异构性问题，以实现节能训练。FL-LLM为设备分配分层网络模型，并在服务器上维护一个基于LLM的设备选择器。该选择器分析设备状态信息，考虑全局贡献、能耗和延迟来选择设备子集并分配适当的模型大小。在平衡训练性能和能源成本的同时，基于LLM的选择器能够在各种能源受限的场景中实现高效的FL。

我们的工作做出了以下关键贡献：

• •
  我们提出了FL-LLM，这是一种专为资源受限环境设计的新联邦学习框架。它通过分层模型聚合实现了异构DNN之间的知识共享，并促进了计算能力不同的设备之间的协作部署，从而为设备和数据异构性问题提供了一致的解决方案。
• •
  我们开发了一个基于LLM的选择器，用于高效决策。它使用多模态编码器表示异构设备状态，通过联邦经验轨迹和低秩适应对LLM进行轻量级微调，并使用专用输出头来直接生成设备选择和模型分配决策。
• •
  广泛的评估表明，与传统的分层方法相比，FL-LLM的平均准确率提高了7.86%，同时能耗降低了17.95%。此外，与基于DRL的方法相比，基于LLM的选择器在联邦训练准确率上平均提高了3.02%。

本文的其余部分组织如下。第2节回顾了关于模型异构性、能源感知设备选择和基于LLM的决策的相关工作。第3节介绍了联邦学习和用于设备-模型分配的DDQL方法。第4节描述了所提出的FL-LLM框架的设计。第5节详细介绍了基于LLM的设备选择策略。第6节展示了在多个基准测试上的实验结果。最后，第7节总结了本文。

章节片段

相关工作

物联网（AIoT）通过在开放网络中运行的边缘设备将智能嵌入物理环境。然而，这种架构也使系统暴露于数据投毒和逃避攻击等网络安全威胁[16]、[17]。为了在保护数据隐私的同时减轻这些威胁，联邦学习（FL）[18]作为一种有前景的方法应运而生，因为它共享模型更新而不是原始数据。然而，在这种资源受限的环境中有效部署FL仍然是一个挑战

联邦学习

联邦学习（FL）是一种分布式机器学习范式，旨在在多个边缘设备之间协作训练全局模型，同时保护数据隐私。在每轮通信中，中央服务器选择一组设备并向它们分发当前的全局模型。

每个选定的设备使用自己的本地数据集更新模型，并将更新后的参数发送回服务器。然后服务器汇总接收到的本地更新以完善全局模型

问题表述

在典型的资源受限的联邦系统中，中央服务器与N个AIoT设备协调，表示为$D=\{D_1,\dots ,D_n,\dots ,D_N\}$. 这些设备在计算资源和存储容量方面存在差异，导致它们处理的数据量和在联邦学习过程中训练的模型大小各不相同。

在这个系统中，模型准确性、训练延迟和能耗是共同决定联邦学习效率的三个核心指标

基于LLM的设备选择策略

在本节中，我们介绍了一种在中央服务器上部署的基于LLM的方法，用于边缘设备选择和模型分配。该方法包括三个组成部分：多模态编码器、用于联邦适应的LLM微调和输出头。图3展示了基于LLM的设备选择框架。

性能评估

为了评估FL-LLM的性能，我们在PyTorch中实现了我们的框架。所有联邦学习方法都使用了固定学习率0.001的Adam优化器进行训练。对于本地训练，每个设备采用了32的批量大小，并在每轮通信中执行一个本地周期。服务器端使用了OPT-1.3B模型[34]作为选择器。基于这种设置，我们进行了广泛的实验来回答以下四个研究问题（RQs）。

RQ1：

讨论与结论

在本文中，我们提出了FL-LLM，这是一种专为资源受限环境设计的新型联邦学习框架。它通过分层模型聚合实现了异构设备之间的知识共享，并引入了基于LLM的选择器以实现高效的设备选择和模型分配。我们的工作旨在解决异构AIoT环境中的三个关键挑战：设备异构性、非独立同分布（non-IID）数据和能源限制。

CRediT作者贡献声明

Jialiang Lu：撰写——原始草案、可视化、验证、软件、方法论、调查、形式分析、概念化。Qiang Li：监督、资源、项目管理。He Li：撰写——审阅与编辑、监督、资源、项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。