一种基于多智能体协同感知决策的app自动执行与测试系统

本发明涉及一种基于多智能体协同感知决策的app自动执行与测试系统，测试系统包括三个智能体和一个用于采集信息、交互执行的上位机：执行决策智能体接收规划策略推荐智能体和感知智能体的输出，作为输入信息，产生指令控制上位机，与待测试系统产生交互，完成对待测试系统的执行任务。所述三个智能体为：执行决策智能体、规划策略推荐智能体和感知智能体，三个智能体共同构成app自动执行系统的决策系统。该系统在给定任务目标后，可以与待测试系统交互，通过感知智能体对所在UI页面进行文本识别、图标识别、键盘识别、布局识别和异常识别，同时规划策略推荐智能体在离线探索后，将系统信息保存在知识库中，执行决策智能体依据感知智能体和规划策略推荐智能体的信息输入，自主推理出执行动作，完成任务目标的执行。本申请在借助大模型推理能力的同时，联合了多个不同能力的智能体，协同工作，极大的提升了模型的准确性和稳定性。