摘要
本公开提供了一种云手机自动化操作方法和装置,涉及云计算技术领域,具体为云手机技术领域。该方法的一具体实施方式包括:获取云手机的任务序列;对于任务序列中的当前任务,执行以下操作步骤:利用视觉语言模型对当前任务和云手机的当前界面信息进行推理,生成当前操作指令;在云手机上执行当前操作指令后,加载下一界面信息;响应于当前任务是任务序列的最后一个任务,确定云手机自动化操作完成;响应于当前任务不是任务序列的最后一个任务,将任务序列中的下一任务作为新的当前任务,将下一界面信息作为新的当前界面信息,并继续执行操作步骤。
技术关键词
自动化操作方法
视觉
手机
序列
选取界面元素
语言模型训练方法
指令
多轮对话
样本
模型训练装置
云计算技术
计算机程序产品
对象
网格
处理器通信
模块
系统为您推荐了相关专利信息
视频摘要模型
视频摘要方法
重构
卷积模块
特征提取模块
多元时间序列数据
工业物联网
异常检测方法
编码器
节点
负荷检测方法
有功功率
负荷特征
初始聚类中心
智能优化算法
分类预测模型
多头注意力机制
故障分类器
衰减技术
数据