一种RPA系统中实现元素定位的方法

本发明公开了一种RPA系统中实现元素定位的方法，包括如下步骤：步骤1、获取用户输入的原始请求和用户当前的网页页面，利用网页页面获得视图关系图谱；步骤2、根据视图关系图谱识别相似元素；同时将原始请求拆分为条件判断指令或循环执行指令；步骤3、对于循环执行指令基于视图关系图谱获取元素坐标；步骤4、将条件判断指令拆解成元素query；然后在相似元素中召回待识别可见元素；步骤5、对于待识别可见元素，利用视图关系图谱或多模态大模型获取元素坐标。本发明可以使RPA工作过程能够快速实现元素定位，同时减少误判的情况。