摘要
本申请实施例提供一种设备控制方法、装置、设备、介质及产品,该方法包括:接收任务指令,并在数据库确定任务指令对应的操作序列;循环执行以下步骤,直至任务指令对应的操作序列执行完成:获取设备的当前界面截图,基于当前界面截图确定当前界面状态,以及在设备的当前界面中确定至少一个可操作UI元素的操作区域;根据当前界面状态,在操作序列中确定当前界面状态下的UI元素操作,并在该UI元素的操作区域中执行UI元素操作。本申请的方案,在设备的不同界面状态下在对应的UI元素的操作区域执行正确的操作,可减少界面变化时的失误操作,同时通过模拟用户操作而非调用API接口的方式可适用多种场景,提高了设备控制的可靠性。
技术关键词
界面
计算机执行指令
设备控制方法
元素
序列
光学字符识别
调用API接口
语义特征
设备控制装置
处理器
可读存储介质
计算机程序产品
存储器
文本
标记
电子设备
系统为您推荐了相关专利信息
轨迹分类方法
船舶
滑动窗口
神经网络模型
离群点
项目管理系统
项目管理模块
元素
可视化单元
日志
实体关系抽取模型
实体关系抽取方法
语义向量
实体关系抽取系统
词语
动态识别方法
多模态
非监督
融合注意力机制
拓扑图