基于多模态视觉识别的跨平台GUI测试脚本生成方法

本发明涉及软件测试自动化技术领域，具体而言，涉及基于多模态视觉识别的跨平台GUI测试脚本生成方法，通过本发明所提供的方法，主要包括对预处理后的基础数据分别发送至视觉通道和文本通道处理，视觉通道通过YOLOv5模型对基础数据进行元素检测得到第一识别结果，文本通道通过CRNN‑OCR模型对基础数据进行文字识别得到第二识别结果；将第一识别结果和第二识别结果进行特征融合，输出至脚本生成器。通过上述方法，不再使用常规传统工具进行处理，而采用了一个双通道的处理层，分别对当前的基础数据进行分析和提取，简化了工作流程，大幅降低了由于前端框架升级导致较多的选择器失效的概率。