一种复杂任务流程自动化系统和方法

本发明公开了一种复杂任务流程自动化系统和方法，属于软件测试领域，系统包括任务记录与分发器、调度器、操作动作记录器、异常处理器、任务重写与子任务规划器、指令推理器、指令执行器、执行状态检测器以及路径记录器，调度器是整个流程的逻辑控制单元，路径记录器包含页面识别模型、页面id分配和路径记录三个组件；指令推理器，负责根据当前任务和调度器传入的历史操作记录和当前系统的GUI页面，采用被领域数据集训练后的跨模态大模型推理得到；执行状态检测器，用于对动作执行是否成功进行检测；指令执行器用于和系统进行交互，降低流程自动化执行的难度，保证了稳定性，将复杂的逻辑，转为了语义清晰的指令集，大大提升了系统动作空间和执行能力。