基于多模态AI识别的自动化测试脚本动态生成方法及系统

本申请涉及计算机技术领域，提供一种基于多模态AI识别的自动化测试脚本动态生成方法及系统，用以在降低人工维护成本的同时显著提升测试用例的覆盖维度和执行鲁棒性。其中，该方法包括：获取目标测试界面数据，并提取测试界面数据中的动态交互特征，调用完成训练的目标检测网络对测试界面数据进行元素定位处理，生成界面元素坐标集合，基于界面元素坐标集合，调用文字识别网络对界面元素分布信息进行多模态特征解析，生成包含文字语义特征与图标分类特征的特征融合结果；将特征融合结果输入脚本生成模型进行动态路径规划处理，输出自动化测试脚本元素，自动化测试脚本元素包含基于元素操作序列生成的逻辑控制指令和坐标自修正参数。