基于需求覆盖度的自然语言测试用例最小化方法

《ACM Transactions on Software Engineering and Methodology》：Requirements Coverage-Guided Minimization for Natural Language Test Cases

Test suite minimization with requirement coverage guidance using text embeddings and genetic algorithms.摘要

　　

摘要AI摘要

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

随着软件系统的发展，测试套件的规模往往会扩大，并且通常包含冗余的测试用例。这种冗余会增加测试的工作量、时间和成本。测试套件最小化（TSM）旨在消除这种冗余，同时保持关键属性，如需求覆盖率和故障检测能力。在本文中，我们提出了RTM（基于需求覆盖率的测试套件最小化）这种新颖的TSM方法，该方法专为基于需求的测试（验证）设计，能够在固定的最小化预算下有效减少测试套件的冗余，同时确保完全的需求覆盖率和较高的故障检测率（FDR）。基于关键系统中功能安全性的常见实践，我们假设测试用例是用自然语言指定的，并在实现之前与需求相关联。RTM利用文本嵌入技术将测试用例转换为向量表示，然后使用距离函数来计算测试用例对之间的相似性值。在这些相似性值的指导下，采用遗传算法（GA），其种群初始化采用保持覆盖率的策略，以搜索符合预算的最优多样化测试用例子集。我们研究了三种测试用例的预处理方法、七种不同的文本嵌入技术、三种距离函数以及三种GA的初始化策略。我们在一个包含$736$个系统测试用例的工业汽车系统数据集上评估了RTM，这些测试用例覆盖了$54$个需求。实验结果表明，RTM在运行时间方面具有可扩展性，并且在大多数最小化预算下，在保持完全需求覆盖率的同时，其FDR性能优于所有基线技术。此外，我们还研究了测试套件冗余程度对TSM效果的影响，为在实际约束下优化基于需求的测试套件提供了新的见解。

AI摘要

要查看此由AI生成的纯文本摘要，您必须具有高级访问权限。