一种基于多模态输入的机器人运动交互系统和方法

本申请公开了一种基于多模态输入的机器人运动交互系统和方法，通过基于多模态输入的机器人运动交互系统会在与人类的交互过程中使用视觉、听觉、触觉等多种模态的输入，将摄像头拍摄的画面、麦克风录得的语音、人传送给机器人的文本、机器人回复人的文本、人对机器人的触摸等多种信号进行处理，提取其中的语义，根据机器人当前的状态和程序约束，通过决策系统给出应该响应的动作，最后机器人执行该动作，本方案通过多模态输入模块接收多种输入信号，并通过统一接口连接信号处理模块、决策系统和执行模块，使得系统能够综合处理视觉、听觉和触觉信号，简化系统结构，提高系统的智能化水平和交互能力。