摘要
本公开关于一种数据处理方法、装置、电子设备、存储介质以及程序产品,其中,通过目标检测模型对执行任务操作前后的用户图形界面分别进行文字与图标的标注,可以提升检测与标注的准确性,并提升对于各个处理场景的通用性,通过简单获取到的视觉数据进行数据处理,避免获取底层数据,提升获取标注数据的便捷程度;通过任务指令、任务操作对应的记录数据和标注图形用户界面进行操作推理,得到待执行的任务操作,可以保证在执行长时序任务时的上下文一致性,通过记录数据保证与任务相关的关键信息均被记录,进一步保证对于动态变化的多种GUI应用场景的适用性,提升任务执行的成功率。
技术关键词
图形用户界面
数据处理方法
元素
指令
电子设备
文本
多模态
复杂度
计算机程序产品
规划
列表
图像
处理器
可读存储介质
数据处理装置
编码
图标
记忆
系统为您推荐了相关专利信息
乳腺钼靶图像
分类检测方法
信息熵
语义特征
融合特征
信号生成方法
信号生成装置
生成控制指令
信号控制模块
生成指令