一种基于多模态感知的APP自动化测试方法及Agent系统

本发明公开了一种基于多模态感知的APP自动化测试方法及Agent系统，涉及图像识别或理解领域，方法包括以下步骤：实时感知层对APP的屏幕界面实时截图；当界面变化时，分三路处理截图：检测控件边界框；对界面元素进行视觉语义编码；同步提取文本内容，生成功能标签。融合三路输出结果，构建UI树。输入任务指令时，动态推理层通过神经‑符号协同机制根据任务指令和UI树生成动作序列，更新动态文档，并保存到实时知识库。执行优化层将动作序列的动作转换为平台专属的操作代码，并执行操作代码，同时自动标注异常路径，并更新规避策略至实时知识库。本发明通过三级架构实现实时感知‑动态推理‑执行闭环，显著提升泛化能力、异常覆盖和执行效率。