摘要
本发明公开了一种基于多行为融合智能感知的机器人控制方法,包括以下步骤:A:分别构建面部表情智能识别模型、肢体动作智能识别模型和语音识别控制协议集,并分别建立控制指令映射规则;B:实时跟踪并获取服务对象的面部表情图像、肢体动作图像及语音音频;C:输出面部表情预测结果、状态的肢体语言和服务对象的语音指令;D:获取基于面部表情、基于肢体动作和基于语音指令的机器人动作控制指令并进行融合,获取多行为融合后的机器人动作控制指令;E:根据多行为融合后的机器人动作控制指令控制机器人执行对应的动作。本发明能够有效提升了机器人的认知能力和情境感知能力。
技术关键词
机器人控制方法
表情智能识别
动作智能
面部
人体肢体运动
残差卷积神经网络
情境感知能力
机器人控制指令
注意力
对象
机器人控制模块
姿态估计算法
网络模型结构
卷积神经网络模型
浅层特征提取
语音采集模块
图像处理算法