大型语言模型的高效函数编排

LLMOrch框架通过分配处理器和模型依赖关系（定义-使用、互斥）优化并行函数调用执行，在I/O密集型任务中效率提升，计算密集型任务中表现更优，性能与处理器数量成线性关系。

　　

摘要：

函数调用是当今大型语言模型的基本功能，但顺序函数调用存在效率问题。最近的研究提出支持并行性来处理函数调用，以缓解这一问题。然而，这些研究要么将并发函数调用的执行任务委托给用户，而用户仍然按顺序执行这些任务；要么忽视了不同函数调用之间的关联，从而导致效率低下。本文介绍了LLMOrch，这是一个用于大型语言模型中自动化并行函数调用的先进框架。LLMOrch的核心原理是识别可用的处理器来执行函数调用，同时防止任何单个处理器负担过重。为此，LLMOrch模拟了数据之间的关系（即不同函数调用之间的定义-使用依赖关系），并通过控制关系（即互斥性）以及底层处理器的运行状态来协调它们的执行。与现有技术相比，LLMOrch在处理I/O密集型函数时表现出相当的效率提升，在处理计算密集型函数时则显著优于现有技术（提高了多达倍）的效率。此外，LLMOrch的性能还与分配的处理器数量呈线性相关。我们相信，这些结果凸显了LLMOrch作为大型语言模型中并行函数调度高效解决方案的潜力。

引言

大型语言模型（LLMs）[1]、[2]、[3]的最新进展催生了诸如AutoGPT [4]、SWE-agent [5]和Agentless [6]等AI代理的开发。除了编程任务外，由LLM驱动的代理还在解决复杂实际问题方面取得了进展，包括科学计算[7]、[8]、软件工程[9]、[10]、蛋白质工程[11]和细胞研究[13]等领域。