250612_On Mutation-Guided Unit Test Generation

论文信息

  • 标题: On Mutation-Guided Unit Test Generation

  • arXiv ID: 2506.02954

  • 作者: Authors:Guancheng Wang, Qinghua Xu, Lionel C. Briand, Kui Liu

  • 发表日期: 2025-06-03T14:47:22+00:00

  • 论文链接: 2506.02954

  • 总结生成时间: 2025-06-12 17:23:10

一句话概要
作者提出MUTGEN方法，通过将变异测试反馈直接融入大语言模型（LLM）的提示中，显著提升了生成单元测试的变异分数，揭示了传统代码覆盖率指标的局限性。

主体
当前单元测试生成工具（如EvoSuite）和新兴的LLM方法普遍依赖代码覆盖率（如行覆盖、分支覆盖）作为评估标准，但研究发现这些指标与测试套件的实际缺陷检测能力关联性较弱。例如，某些测试套件虽能达到100%覆盖率，其变异分数（即杀死人工注入缺陷的能力）却低至4%。这一矛盾凸显了现有方法的不足：变异分数作为更严格的评估标准尚未被充分探索，尤其缺乏针对LLM如何有效杀死变异体的系统性研究。

为解决这一问题，作者设计了MUTGEN框架，其核心创新在于将变异测试的动态反馈直接整合到LLM的提示生成过程中。具体而言，系统会分析前一轮生成的测试未能杀死的变异体，将这些信息转化为自然语言提示，指导LLM生成更具针对性的新测试。此外，MUTGEN采用迭代生成机制，通过多轮反馈循环持续优化测试用例，突破了传统单次生成模式的局限性。实验部分基于204个基准项目展开，结果显示MUTGEN的变异分数比EvoSuite和基础提示策略分别平均提升37%和28%，尤其在处理复杂变异算子时优势显著。

最后一句
这项研究不仅为LLM在测试生成领域的应用提供了新范式，其揭示的变异体杀死机制局限性（如未覆盖变异体的分布特征）也为未来开发更精准的测试评估体系指明了方向。