250615_On Mutation-Guided Unit Test Generation

论文信息

  • 标题: On Mutation-Guided Unit Test Generation

  • arXiv ID: 2506.02954

  • 作者: Authors:Guancheng Wang, Qinghua Xu, Lionel C. Briand, Kui Liu

  • 发表日期: 2025-06-03T14:47:22+00:00

  • 论文链接: 2506.02954

  • 总结生成时间: 2025-06-15 19:24:22

一句话概要
作者提出MUTGEN方法，通过将变异测试反馈直接融入大语言模型（LLM）的提示中，显著提升了生成单元测试的变异分数，揭示了传统代码覆盖率指标的局限性。

主体
当前单元测试生成工具（如EvoSuite）和新兴的LLM方法过度依赖代码覆盖率指标（如行覆盖和分支覆盖），但这些指标与测试套件的缺陷检测能力关联性较弱。研究发现，某些测试套件虽能达到100%覆盖率，其变异分数（即杀死人工注入缺陷的能力）却低至4%，凸显了覆盖率指标的不可靠性。变异分数作为更严格的衡量标准，尚未在LLM测试生成领域得到充分探索，尤其缺乏对模型如何有效杀死变异体的系统性研究。

为解决这一问题，作者设计了MUTGEN框架，其核心创新在于将变异测试的动态反馈直接整合到LLM的提示工程中。该方法通过分析未杀死的变异体信息，指导LLM生成针对性测试用例，并引入迭代生成机制持续优化结果。在包含204个项目的两个基准测试中，MUTGEN的变异分数显著超越EvoSuite和基础提示策略，部分案例中提升幅度超过50%。实验还发现，不同变异算子（如算术运算符替换与条件边界修改）对生成效果的影响存在显著差异，这为后续优化提供了方向。

最后一句
该研究不仅为LLM在测试生成领域的应用开辟了以缺陷检测为导向的新范式，其揭示的变异体特性差异也为未来设计更精准的提示策略奠定了理论基础。