摘要
本申请公开了一种基于旁路架构的软件智能交互通道拓展方法,应用于智能体端,包括:接收用户端下达的任务指令,对所述任务指令对应的任务数据进行处理,在所述任务数据信息完整的情况下,确定任务需求,其中,所述任务需求中携带有任务类型和任务要求;基于当前操作系统界面截图,生成初始软件状态标签,并基于所述初始软件状态标签,确定当前软件状态,根据所述当前软件状态、所述任务需求以及先验知识,生成符合目标格式的执行方案;根据所述执行方案模拟键盘、鼠标输入进行软件操作,实现用户请求。应用本方法可通过无侵入式的旁路架构为软件新增智能交互的能力。
技术关键词
标签
模拟键盘
软件操作方法
模拟用户输入
操作系统界面
数据
实时位置
三元组
多轮语音交互
鼠标
定位算法
指令
格式
图像分割算法
策略
旁路
文本
系统为您推荐了相关专利信息
智能分选设备
传输设备
筛分设备
物分选方法
磁选设备
储能设备
数据分析方法
神经网络模型
数据帧结构
建立通信
知识图谱嵌入方法
标签
实体
翻译模型
神经网络模型