一种基于多模态融合的自修复UI自动化检测方法

本发明涉及软件测试自动化技术领域，具体而言，涉及一种基于多模态融合的自修复UI自动化检测方法，主要包括了进行视觉特征提取得到特征向量，并构建带语义标签的虚拟DOM树进行相似度计算，得到结构相似度；通过特征融合决策器对特征向量和结构相似度进行权重动态调整，输出当前置信度阈值下的融合权重比例，通过权重比例对特征向量和结构相似度融合形成决策组合，生成新的定位器。通过上述方法，解决动态用户界面导致的测试用例脆弱性问题，界面变更的实时感知的检测速度得到提升，同时定位策略的自动生成的新的定位器，在使用时的定位的成功率也得到显著提升。