多模态虚实融合交互方法和系统

本申请提供的多模态虚实融合交互方法和系统，具体涉人机交互技术领域。该方法通过深度感知摄像头采集手部三维坐标数据，麦克风阵列采集语音数据，将手部数据输入手势识别模型以输出操作意图参数，并据此获取虚拟设备实时状态数据，生成触觉反馈参数，通过线性映射关联后，生成振动波形输出至触觉执行单元。同时，解析语音数据得到语音指令，与操作意图参数进行时空对齐，生成虚实同步控制指令。该方法解决了如何通过低成本、低延迟的自然交互方式实现手势操作与设备状态联动的触觉反馈，并提升多模态指令协同能力以降低误操作率的技术问题，实现了手势操作与虚拟设备状态联动的精准触觉反馈，并提升多模态指令协同能力，显著降低误操作率。