一种用于软件开发的联邦自适应大型语言模型微调框架

《IEEE Transactions on Services Computing》：A Federated Adaptive Large Language Model Fine-Tuning Framework for Software Development

大型语言模型（LLMs）在代码智能任务中效率显著提升，但仍面临三大挑战：1）需大量特定任务标注数据，获取成本高；2）组织间高质量代码数据难以共享；3）多编程语言差异导致干扰。F-CodeLLM联邦自适应微调框架首次将联邦学习应用于代码LLM优化，在保护数据隐私前提下实现跨组织协作，通过设计高效微调方法降低计算和通信开销，实验表明其性能接近集中式微调，且能有效利用多语言共享知识提升单语言域表现。

　　

摘要：

大型语言模型（LLMs）在代码智能任务中取得了显著进展，显著提高了软件开发的效率。然而，仍存在一些挑战。首先，为特定任务微调LLMs需要大量的任务相关标注数据，这通常成本高昂且耗时。其次，由于代码数据的敏感性，不同组织的高质量内部数据集无法直接共享或合并用于微调。此外，不同组织之间编程语言的差异可能在微调过程中引入干扰。为了解决这些挑战，我们提出了F-CodeLLM，这是一个针对实际软件开发场景设计的联邦式自适应大型语言模型微调框架。据我们所知，这是首次将联邦学习应用于代码LLMs的微调，能够在保护每个组织代码数据隐私的同时实现模型协作优化。我们设计了一种高效的LLM微调方法，以减轻协作微调相关的计算和通信开销。实验结果表明，F-CodeLLM能够有效地让LLMs从每个组织的数据集中学习，其性能可与集中式微调相媲美。此外，F-CodeLLM非常适合多语言数据环境，因为它可以利用跨编程语言的共享知识来提高各个语言领域的性能。

引言

随着自然语言处理（NLP）的快速发展，大型语言模型（LLMs）已成为该领域的一个重要里程碑。与早期的语言模型（如GloVe [1]）相比，LLMs在广泛的NLP任务中表现出更强的性能，包括机器翻译和问答 [2]、[3]。鉴于源代码具有与自然语言类似的结构和语义特征，研究人员已将LLMs扩展到与代码相关的应用中，如代码生成、摘要和翻译 [4]。面向代码的LLMs的出现进一步加速了向软件3.0的范式转变，即AI模型可以自主协助甚至主导软件工程过程的时代 [5]。尽管通用LLMs在零样本和少量样本泛化方面表现出色，但它们的性能通常仍低于针对特定任务进行微调的模型 [6]。例如，像CodeX这样的模型在SQL这样的特定领域编程语言上表现不佳，因为SQL包含多种方言，而通用LLMs通常没有经过有效区分这些方言的训练 [7]。在实践中，基于领域相关数据的微调对于最大化LLMs在专业软件开发场景中的效用至关重要。然而，这一过程的有效性取决于能否获得高质量、特定于任务的训练数据。