摘要
一种面向需求设计稿的GUI软件测试系统及方法,包括:交互模块、设计稿解析模块、文字识别模块、控件识别模块、大语言模型服务模块、测试执行模块和一致性检测模块,本发明通过对界面控件进行布局上的切割,得到一个唯一的控件序列,将控件匹配转换为最长公共子序列匹配问题,提高比较效率和对复杂布局的匹配能力。缺失步骤补全通过执行大模型补全的步骤,根据界面跳转情况和历史跳转信息判断是否完成目标测试流程或需要进行新一轮的大模型交互。通过构造视觉提示词来提高大模型对当前界面的理解,生成更准确的交互步骤。
技术关键词
控件
软件测试系统
一致性检测
界面
软件测试方法
OCR文字识别
大语言模型
识别模块
客户端
测试机
序列
文本比对方法
生成结构化数据
解析单元
坐标
空间位置关系
生成可执行
系统为您推荐了相关专利信息
虚拟对象
图形用户界面
焦点
视觉
头戴式虚拟现实设备
共享充电宝柜机
存储机构
回收机构
人机交互界面显示
电子标签
图形化人机界面
控制系统
数字孪生模型
集成多传感器
人机交互模块
重金属污染源
土壤重金属污染
数据
溯源方法
探测器