一种应用于虚拟环境控制的多模态人机交互方法和系统

本发明公开了一种应用于虚拟环境控制的多模态人机交互方法和系统，包括采集人体位置信号、人体生物电信号和语音信号，将采集的信号传输至控制模块，控制模块将人体位置信号传输至替换模块，替换模块通过识别算法将人体姿态的三维实时坐标转换为虚拟环境中的三维坐标，将转换后的三维坐标传输至控制模块，控制模块进行人体生物电信号和语音信号单项信号检测和识别算法任务，提取信号特征，并根据不同的任务要求，利用不同信号特征，执行多模态融合算法，将多模态融合算法生成的指令传输至应用模块，应用模块根据多模态融合算法生成的指令进行人机交互，识别人机交互结果，本发明能够有效解决虚拟环境中人机交互准确率的问题，提高准确率。