UI自动化测试方法及测试系统、存储介质

本申请提出一种UI自动化测试方法及测试系统、存储介质。该方法包括：获取目标文本及待测试UI的光学字符识别结果，该光学字符识别结果包括若干元素，以及各个元素的元素文本、坐标框和视觉特征；得到目标文本与各个元素文本的语义相似度；基于各个元素的视觉特征，得到目标文本与各个元素的属性相似度；根据语义相似度及属性相似度，确定目标文本对应于光学字符识别结果中的元素，作为目标元素；将目标元素的坐标框在UI中的位置，作为目标位置；生成突出显示目标位置和/或目标元素的演示图像。于此，本申请可以实现基于语义的模糊匹配，并融合包括文本语义与视觉特征的多模态特征，结合上下文感知，提升UI元素定位的鲁棒性和准确性。