一种RPA场景下理解图形化交互界面的数据结构构建方法

本发明公开了一种RPA场景下理解图形化交互界面的数据结构构建方法，包括以下步骤：步骤1、获取目标页面截屏和目标页面后端代码的无障碍树；步骤2、根据无障碍树和目标页面截屏获得可见元素、元素框和基础数据；步骤3、将可见元素的元素框按面积从大到小排序，将面积最大的元素框对应的可见元素作为视图关系树的根节点，其余元素框根据面积大小的包含关系将对应的可见元素作为视图关系树的子孙节点；步骤4、利用视图关系树和基础数据构建视图关系图谱，从而将得到的视图关系图谱作为理解图形化交互界面的数据结构。本发明所构建的数据结构可以便于RPA机器人理解图形化交互界面，而且适用于AI模型训练。