250615_VISCA: Inferring Component Abstractions for Automated End-to-End Testing

论文信息

  • 标题: VISCA: Inferring Component Abstractions for Automated End-to-End Testing

  • arXiv ID: 2506.04161

  • 作者: Authors:Parsa Alian, Martin Tang, Ali Mesbah

  • 发表日期: 2025-06-04T17:00:38+00:00

  • 论文链接: 2506.04161

  • 总结生成时间: 2025-06-15 19:24:22

一句话概要
VISCA通过将网页转化为层次化语义组件抽象，显著提升了基于大语言模型的端到端自动化测试生成效果。

主体
当前基于大语言模型的端到端自动化测试面临核心挑战在于难以获取最优上下文输入，导致生成的测试用例准确性和覆盖率受限。传统方法通常直接处理原始网页内容，缺乏对用户界面组件的结构化理解，使得模型难以准确推断功能特征并生成有效测试。这一问题在复杂网页场景中尤为突出，成为阻碍自动化测试效能提升的关键瓶颈。

作者提出的VISCA方法创新性地构建了视觉-语义组件抽象框架，通过多阶段处理实现网页的智能化解析。首先采用启发式分割算法将网页划分为候选区域，随后通过多模态大语言模型对这些区域进行分类和上下文提取，最终将其映射到预定义的UI组件词汇表中。这种层次化抽象过程不仅保留了组件的视觉特征，还融入了语义信息，形成兼具空间结构和功能含义的中间表示。相比传统基于像素或DOM树的方法，这种组件中心化的表达更贴近人类测试人员的认知模式。

实验结果表明，VISCA生成的测试用例平均功能覆盖率达到92%，较现有最优方法提升16个百分点。通过7个典型网页案例的对比分析，其组件分割准确率保持在89%以上，且能有效识别动态加载内容。可视化热力图显示，该方法生成的测试操作更集中于核心功能区域，避免了传统方法在非关键元素上的无效点击。这一突破为复杂Web应用的自动化质量保障提供了新范式，其组件抽象思想可扩展至移动端测试等领域。

最后一句
该研究开创的语义驱动测试生成范式，为未来智能软件工程中多模态分析与领域知识融合提供了重要启示。