摘要
本发明公开了一种基于锚点的RPA元素锚点自动修复方法,通过目标检测以及图像特征匹配获取候选元素,对候选元素先进行结合向量修复,若结合向量修复失败则进行脱离向量修复;所述结合向量修复的过程首先是获取原目标元素、原锚点元素和现锚点元素的坐标,然后依据原锚点元素和现锚点元素的坐标计算缩放比例,依据缩放比例对现锚点元素到原目标元素的向量进行缩放计算,还原得到原目标元素的区域;根据原目标元素的区域和候选元素的区域计算两者的相似度,取相似度达到设定阈值且数值最高的候选元素作为修复后目标元素;本发明通过结合向量修复和脱离向量修复可以对多种元素进行修复,具有覆盖面广的优点;同时本发明还具有修复错误率低的特点。
技术关键词
元素
自动修复方法
锚点
特征描述符
坐标
文本
图像
多模态
特征变换方法
K近邻算法
特征点
图标
界面
错误率
比率
注意力
数值
编码
矩阵