基于视觉注意力机制的软件自动化测试方法及系统

本发明提供一种基于视觉注意力机制的软件自动化测试方法及系统，涉及自动化测试技术领域，包括获取待测软件的初始界面并进行预处理，将增强界面图像输入界面检测模型，通过解析增强界面图像，识别控件信息；将控件信息输入预训练的注意力机制模型中，基于控件信息，生成控件之间的语义关联和上下文信息，确定测试动作的执行顺序和执行参数，依次模拟人工测试动作，按照执行参数对控件进行测试操作；获取待测软件的界面反馈信息，基于文字识别算法提取界面反馈信息中的文本内容，结合预先构建的语义理解模型，确定文本内容对应的语义，与预设的预期结果进行比对，生成测试操作对应的测试结论。