摘要
本发明公开了一种基于双系统思维的图形用户界面定位方法及系统。该方法首先获取用户输入的描述需要定位的目标元素的GUI定位任务指令,同时获取当前需要进行定位的GUI截图,将两者一并输入经过GUI定位任务训练的多模态大模型;然后采用自适应系统切换机制,根据任务复杂度动态决定采用快速系统或慢速系统执行定位任务。本发明通过模拟人类双系统认知过程,同时保证了GUI定位的高效率和高准确性。
技术关键词
图形用户界面
双系统
定位方法
整体布局结构
多模态
元素
视觉
计算机电子设备
指令
坐标
复杂度
存储计算机程序
关系
计算机程序产品
机制
数据
格式
定位系统
处理器