一种基于多模态模型的自动化GUI测试方法及系统

本发明公开了一种基于多模态模型的自动化GUI测试方法及系统，包括：(1)构建统一测试基准环境GTArena，将GUI测试流程分解为测试意图生成、测试任务执行与GUI缺陷检测三个连续阶段，并采用多模态模型执行三个阶段的流程；(2)利用POMDP对测试任务执行过程进行建模，描述状态转移与决策过程；(3)借助转移元组对应用程序的交互状态进行建模，记录测试任务执行过程中的状态转移序列与操作行为日志；(4)利用真实应用程序、人工注入缺陷的应用程序及合成数据构建大规模数据集，对多模态大语言模型进行评估与训练优化；(5)利用经过评估和训练优化的多模态模型进行自动化GUI测试。利用本发明，可以有效提升自动化GUI测试的整体效率与可靠性。