一种基于多模态反馈的无线遥操方法及系统

本发明公开一种基于多模态反馈的无线遥操方法及系统，包括：对采集的实时图像、目标检测信息、目标追踪信息、体素信息和预警信息，在控制终端进行融合后生成VR实时画面；根据用户侧的下单任务和所述VR实时画面实时解析出用于控制机器人的头部数据、手部数据和底盘运动数据；通过所述手部数据确定所述机器人的上肢运动轨迹；根据所述上肢运动轨迹、所述头部数据、所述手部数据以及底盘运动数据，控制所述机器人执行所述下单任务的操控动作，本发明通过融合机器人采集的实时图像、目标检测信息、目标追踪信息、体素信息和预警信息，控制终端能够生成高度逼真的VR实时画面，从而显著提升操作者的沉浸感与临场感，使远程操作如同在现场作业。