一种基于用户操作视频的RPA指令生成方法

本发明公开了一种基于用户操作视频的RPA指令生成方法，包括如下步骤：步骤1、基于目标检测算法识别用户操作视频中网页内的界面元素，并获取界面元素变化的时间戳；步骤2、基于视频理解模型对用户操作录制视频进行分析，获取单帧图像和文本特征，将时间戳注入单帧图像中形成视觉特征，再将视觉特征和文本特征融合得到多模态特征；步骤3、对多模态特征进行解码，获得界面元素与用户操作行为的映射关系，然后将映射关系封装成RPA指令。本发明实现对用户操作行为的深度理解和RPA指令的自动化生成，从而提高自动化流程的准确性和完整性。