多模态数据处理方法、装置、设备、存储介质及程序产品

本公开关于一种多模态数据处理方法、装置、设备、存储介质及程序产品。属于人工智能技术领域。该方法包括：获得第一设备待执行的第一任务信息；响应所述第一任务信息，获取所述第一设备的第一界面信息；通过界面模型处理所述第一界面信息，获得第一动作信息；控制所述第一设备执行所述第一动作信息；获得所述第一设备的第二界面信息；通过反馈模型处理所述第二界面信息，以确定所述第一任务信息的第一执行信息；根据所述第一任务信息的第一执行信息，确定将所述第一任务信息的第一执行轨迹信息作为第一训练数据，所述第一执行轨迹信息包括所述第一界面信息、所述第一动作信息和所述第二界面信息；使用所述第一训练数据训练所述界面模型。