一种GUI视图操作状态机的自动生成方法

本发明公开了一种GUI视图操作状态机的自动生成方法，包括以下步骤；步骤1：使用构建的GUI数据集对YOLOv8目标检测模型进行重新训练，实现对可交互式组件的类型、内容及位置信息进行GUI图像的精准识别，学习元素间相对关系构建页面元素关系矩阵；步骤2：完成基于空间位置关系和视觉层次特征对GUI界面结构的构建；步骤3：用户对界面动态元素的操作带来的界面跳转，逐渐记录完整的界面状态机，将操作步骤映射为页面结构树节点间的状态跳转关系；步骤4：通过可视化方式直观呈现状态机，并允许人工校正识别错误或缺失的元素，确保GUI界面结构解析结果的高准确性。本发明显著提升了智能体处理复杂GUI交互指令的能力，并拓展了其应用场景。