基于大模型和屏幕录制场景的RPA流程脚本生成方法、系统及存储介质

本发明提供了一种基于大模型和屏幕录制场景的RPA流程脚本生成方法、系统及存储介质，涉及计算机技术领域。该方法包括如下步骤：通过RPA软件录制用户操作的屏幕视频，覆盖不同设备屏幕来源；对录制的视频进行预处理，包括降噪、调整帧数及过滤无效动作；利用预训练的视频大模型分析视频，识别操作动作及目标物；根据识别结果生成动作和目标物模板，描述操作行为及目标物信息；将所述模板映射为RPA脚本，包含组件排列、参数设置及流程逻辑；在RPA平台执行生成的脚本，实现操作自动化。本发明通过深度学习和视频处理技术，自动识别录屏视频中的操作步骤、界面元素及交互逻辑，无需人工干预即可生成对应的RPA脚本，极大提升脚本生成效率。