一种改进RPA机器人的验证码自动化识别方法

本发明公开了一种改进RPA机器人的验证码自动化识别方法，该方法首先采集滑动验证码的真实图像，对图像缺口进行标注，保存后混合开源的滑动验证码数据集，得到训练数据集。其次在YOLOv8中构建自注意力层，将训练数据集作为输入，完成验证码自动化识别，训练后得到最初的滑动验证码识别模型。然后将最初的滑动验证码模型封装成插件，调用插件完成验证码背景信息解析，返回滑块与缺口之间的距离，完成验证识别。最后插件自动记录通过验证码的数据对，利用数据对分别对最初的滑动验证码识别模型做增量训练。本发明显著提升了目标检测算法的识别率，并通过自适应增量训练，调整模型结构。