基于多模态情感交互的智慧陪伴人型机器人及感知方法

本发明涉及机器人感知技术领域，具体涉及基于多模态情感交互的智慧陪伴人型机器人及感知方法，包括以下步骤：通过视觉感知单元采集用户的面部表情和身体姿态数据，语音感知单元采集语调、语速、音量及关键词数据，并进行数据预处理与特征提取；其次，基于循环神经网络对提取的视觉和语音特征进行时间序列建模，生成视觉和语音的时序特征向量；然后，采用基于注意力机制的多模态融合模型，将时序特征融合为综合情感特征向量，用于情感状态分类，最后，根据情感分类结果生成与用户情感状态相匹配的语音、表情及肢体动作等个性化交互内容；本发明，显著提升了机器人情感感知的准确性和人机交互的自然性，适用于教育、医疗、养老等多场景应用。