流程自动化方法、装置及电子设备

本申请公开了一种流程自动化方法、装置及电子设备。其中，该方法包括：获取用户界面图像；通过视觉识别模型对用户界面图像进行目标检测和文本识别，得到与用户界面图像对应的视觉信息，其中，视觉信息包括用户界面图像中的界面元素信息和文本信息；接收用户请求信息，并通过语义理解模型对用户请求信息和视觉信息进行处理，生成操作指令序列；将操作指令序列转换为操作指令，并依据操作指令自动模拟用户操作行为。本申请解决了由于相关技术中的RPA系统通常基于固定的界面坐标或控件特征，存在界面适应性较差、用户意图理解能力较弱和复杂场景下鲁棒性不足的技术问题。