摘要
本发明提供一种基于多模态感知数据的机器人交互方法及系统、机器人,包括基于预设的情感强度量化模型,对交互对象的多模态感知数据进行情感特征提取,得到所述交互对象的情感特征向量,并对所述情感特征向量进行融合计算,得到所述交互对象的情感强度;基于所述交互对象的情感强度,确定所述机器人的交互反馈数据,利用所述交互反馈数据,控制所述机器人执行相应的交互反馈操作,实现了机器人在不同模态信号之间的有效整合和协同处理,使得语音输出与面部表情的协调一致,增强人机交互过程中情感表达的自然性、逼真度。
技术关键词
机器人交互方法
多模态
对象
数据
机器人交互系统
强度
眼球
PID控制算法
卡尔曼滤波算法
音频
非线性
坐标
处理器
人脸
图像
语音
视觉
存储器
时间段