多模态指令交互方法、系统、计算设备及存储介质

本申请公开一种基于虚拟人物的多模态指令交互方法、系统、计算设备及存储介质，所述方法包括获取用户姿态数据并进行识别，获取姿态数据对应的第一操作指令；获取用户的语音数据并进行识别获取用户的意图数据，根据意图数据获取对应的第二操作指令；将第一操作指令和第二操作指令进行时间戳对齐，并计算其在语义空间的相似度，用加权平均的方法对第一操作指令和第二操作指令进行融合并进行动态调整，得到优先级最高的指令作为最终操作指令控制虚拟场景中的物体移动。本申请将手势指令和语音指令进行了深度融合，极大地拓展了用户与虚拟环境的交互空间，突破传统单一交互模式的局限，为用户提供更加自然、高效、智能的沉浸式体验。