基于ROS的机器人集成多模态融合智能交互系统及方法

本发明公开了一种基于ROS的机器人集成多模态融合智能交互系统及方法，该系统包括：监控层，包括计算机及人机交互模块，通过ROS订阅决策层中传感器采集的信息，进行实时语音识别和手势识别，显示识别结果，并将识别结果对应的控制指令通过ROS话题下发给机器人搭载的决策层，或者直接通过ROS话题下发运动控制指令发送至执行层；决策层，搭载在机器人端，包括边缘嵌入式计算模块和传感器，边缘嵌入式计算模块接收人机交互模块下发的控制指令，结合传感器采集的信息进行辅助决策，将控制指令对应的行动指令通过ROS话题消息发送至执行层；执行层，机器人通过ROS订阅决策层或人机交互模块下发的行动指令，完成指定运动。本发明避免了ROS使用过程中使用较多的Ubuntu终端命令，解决了机器人系统软硬件集成性差、控制系统功能不完善等问题。