探索大型语言模型在解决与环境相关的崩溃故障中的作用：定位与修复问题

《ACM Transactions on Software Engineering and Methodology》：Exploring Large Language Models in Resolving Environment-Related Crash Bugs: Localizing and Repairing

本研究首次系统评估大语言模型（LLMs）解决真实环境相关崩溃漏洞的能力，通过构建含100个真实崩溃案例的数据集，对比发现LLMs在代码相关崩溃修复上优于环境相关，且环境崩溃修复面临更大挑战。研究提出主动提问策略和IntDiagSolver交互方法，在6种主流LLMs上验证可将定位准确率提升9.1%-43.3%，修复准确率提升9.1%-53.3%，并在多语言扩展数据集上展现良好泛化性。

　　

摘要总结

要查看此由 AI 生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

软件崩溃错误会导致程序行为异常或突然终止，因此需要立即解决。然而，由于崩溃错误的根本原因可能很复杂（可能源于源代码问题或第三方库依赖等外部因素），解决这些错误颇具挑战性。大型语言模型（LLMs）在软件工程任务中展现出巨大潜力，因为它们在文本和代码语料库上经过了大量预训练。然而，现有研究主要集中在 LLMs 定位和修复与代码相关的崩溃错误的能力上，而其在实际软件中解决与环境相关的崩溃错误的有效性尚未得到充分探索。

为填补这一空白，我们进行了首次全面研究，使用新构建的包含 100 个代表性崩溃错误的数据集，评估 LLMs 解决实际环境相关崩溃错误的能力。我们首先系统地比较了 LLMs 在处理与代码相关和环境相关的崩溃错误时的表现，这些错误具有不同级别的上下文信息。研究结果表明，LLMs 在解决与代码相关的崩溃错误方面表现更好。具体而言，定位是解决代码相关崩溃的主要挑战，而修复环境相关崩溃则更具挑战性。此外，我们还研究了不同提示策略对提高环境相关崩溃错误解决效果的影响，包括使用不同的提示模板和多轮交互。在此基础上，我们进一步探索了一种先进的主动询问策略，该策略利用 LLMs 的自我规划能力，进行系统性和持续的提问，以识别可能导致崩溃的潜在环境因素。基于这些探索，我们提出了 IntDiagSolver，这是一种交互式方法，旨在通过与 LLMs 的持续互动来实现精确的崩溃错误解决。在包含 41 个崩溃错误的数据集上对 IntDiagSolver 进行的广泛评估显示，其解决准确率有所提升，定位方面的提升幅度为 9.1% 至 43.3%，修复方面的提升幅度为 9.1% 至 53.3%。此外，IntDiagSolver 在最新的包含 42 个崩溃错误的多语言数据集上的出色表现凸显了其在处理先前未见数据时的强大泛化能力和有效性。

总结

要查看此由 AI 生成的简单语言摘要，您必须具有高级访问权限。