一种基于语音控制的XR交互方法、装置及设备

本申请提供了一种基于语音控制的XR交互方法、装置及设备，属于人机交互技术领域。该方法包括：接收多模态传感器获取的多模态交互数据流；对多模态交互数据流中语音信号识别解析，以确定相应的语音控制指令；其中，语音控制指令包括操作意图及空间描述；空间描述为用户对目标操作对象的空间约束信息；基于语音控制指令及多模态交互数据流中与语音信号同步的一种或多种非语音行为信息，确定相应的目标交互空间区域；根据目标交互空间区域中各可操作对象信息，匹配与语音控制指令对应的目标操作对象，并根据目标操作对象执行操作意图对应的XR交互操作。从而实现高精度、动态适应性强且可靠性高的语音控制交互。