一种工业场景人形机器人多模态协同决策方法及装置

本申请公开了一种工业场景人形机器人多模态协同决策方法及装置，涉及机器人控制技术领域，方法包括：获取工业场景中人形机器人视觉摄像头的多帧监控图像、力触觉传感器数据及设备运行传感器数据；提取多帧监控图像、力触觉传感器数据及设备运行传感器数据的特征向量作为多模态特征向量；将多模态特征向量作为训练样本训练跨模态模型，使得跨模态模型学习视觉、力触觉与设备数据的关联关系；获取动态工业场景数据，进而提取特征向量并输入训练后的跨模态模型进而生成场景描述信息；根据场景描述信息输出操作决策指令进而控制人形机器人。本申请通过跨模态特征融合与动态知识推理，可提升人形机器人在复杂工业环境中的任务执行精度与环境适应性。