一种AI视觉的自动化测试方法及系统

本发明提供了一种AI视觉的自动化测试方法及系统，应用于软件UI自动化测试领域。本申请基于视觉处理模型和大语言模型对移动端UI自动化测试需求进行处理，生成JSON格式测试用例，经转换和完整性检查后生成用于系统执行的YAML格式测试用例以及测试人员查看编辑的XMIND格式测试用例；基于Appium服务和WebDriver对测试设备信息进行处理，获取设备界面截图信息；基于视觉处理模型对设备界面截图和元素描述信息进行处理，生成元素相对坐标，经坐标转换及操作处理，生成操作结果；对操作结果进行截图验证处理，生成测试结果记录；对测试结果记录和YAML格式测试用例、XMIND格式测试用例进行处理，生成测试报告信息。