一种基于多模态的自动化测试脚本生成方法及系统

一种基于多模态的自动化测试脚本生成方法及系统，包括用户通过自然语言描述测试需求并上传界面截图来进行多模态输入，调用大语言模型生成AIRTEST脚本；使用正则表达式对生成的脚本进行模式匹配，提取所有图片元素名称，重排序处理来形成元素名称列表；将原始的界面截图与元素名称列表输入视觉大模型，要求视觉大模型返回标准化坐标数据；基于坐标数据执行图像裁剪操作，为测试脚本提供实际的图片资源；自动生成时间戳命名的.air项目文件夹，在目录内创建同名Python脚本文件并写入前面生成的测试脚本代码，将裁剪得到的图片资源存入项目文件夹，形成符合AIRTEST框架要求的完整可执行测试套件。本发明能够解决了传统自动化测试工具学习成本高、维护困难的核心痛点。