一种应用于图形用户界面代理的方法及装置

本发明公开了一种应用于图形用户界面代理的方法及装置，通过在终端本地运行的感知模块对图形用户界面环境信息进行感知和解析，将原始界面信息转换为结构化的混合描述语言HDL；通过运行在云端的思考模块，接收感知模块上传的结构化语义表示，输出抽象化操作方案并返回至终端；通过在终端本地运行的执行模块，将抽象化操作方案转换为具体事件，并引入动态验证机制，对云端返回的操作指令进行完整性和合理性检测，阻止恶意指令执行，实现全链路的隐私保护和安全防护。该方法及装置采用感知‑思考‑执行解耦的架构，通过模块化分离视觉感知、认知推理和操作执行三个核心环节，有效避免了信息泄露和恶意指令传播。