一种基于深度学习的自动化测试方法及系统

本发明提供了一种基于深度学习的自动化测试方法及系统，包括：收集不同版本及状态下的UI界面截图，提取UI界面截图中的UI元素另存为图像文件并进行标注；对标注后的图像文件进行数据预处理，基于图像文件构建用于训练YOLO模型的数据集，使用数据集对YOLO模型进行训练；将训练后的YOLO模型集成至自动化测试框架中，并为自动化测试框架设置不同的测试环境；自动化测试框架捕获当前的UI界面截图，并自动识别UI界面截图中的UI元素，根据识别结果对当前UI界面执行模拟操作，得到对当前UI界面的测试结果。本发明有益效果：可以在复杂的界面中准确识别UI元素，只需要更新训练模型,就能适应新的UI界面,大大降低了维护成本，简化了UI界面的测试过程。