一种基于视觉理解与大模型业务感知的自动化GUI测试方法

本发明提出了一种基于视觉理解与大模型业务感知的自动化GUI测试方法，旨在解决传统GUI测试技术中测试覆盖率低、测试深度不足的问题。该技术通过结合多模态大模型和控件识别技术，深度理解待测应用页面的场景划分与业务逻辑，以场景业务逻辑为导向，自动化生成高效、全面的测试用例。技术方案包括GUI图像解析模块、页面场景划分模块和场景引导的测试生成模块。GUI图像解析模块实现页面控件的精准识别与定位；页面场景划分模块利用大模型对页面信息进行理解，实现场景划分；场景引导的测试生成模块基于场景理解生成测试决策并执行测试。本发明的特点在于首次将多模态大模型与基于场景信息的测试生成技术相结合，实现GUI图像的直接输入与自动化测试决策生成，打通视觉与推理过程，模仿用户思维模式进行决策，有效提升GUI测试的覆盖率和深度。