一种基于多模态传感融合的机器人语音交互系统及其控制方法

本发明公开了一种基于多模态传感融合的机器人语音交互系统及其控制方法，属于智能机器人的技术领域，该控制方法包括：S1：机器人的初始状态为休眠状态；S2：通过实时采集唤醒词对机器人进行唤醒；S3：根据声源与IMU数据融合算法进行动态补偿，并对声源进行波束成形优化修正后拾音获取语音数据；S4：检测获取规则/意图语音；S5：对规则/意图语音进行识别，通过云端ASR或离线ASR进行NLU语义理解获取语音指令；S6：将语音指令融合探测传感器组的视觉数据进行动态仲裁，执行语音指令或避障指令；S7：待S6的指令执行完毕，进入至休眠状态，以达到通过融合麦克风阵列、IMU传感器及边缘计算来形成语音交互系统，复杂环境下的智能机器人自主决策的目的。