具有共情机制的多模态人机交互方法

本发明涉及一种具有共情机制的多模态人机交互方法，通过对用户在人机交互过程中的情感特征做多模态实时提取，分别得到每个模态对应的情感特征，并融合处理提取到的各情感特征，形成表征用户当前时刻情感的多模态情感特征向量，再对多模态情感特征向量做处理得到用户当前时刻的用户情感，最后将所得用户在当前时刻的用户情感输入到对话模型处理，预测得到用户将来时刻的情感，且将与该用户将来时刻的情感相匹配的共情交互内容输出给用户。如此，不仅可以基于多模态方式准确识别用户当前时刻情感，而且还可以预测用户情感，且把与用户将来情感匹配的共情交互内容输出给用户，实现人机交互过程的人性化，增强了针对复杂情感交互场景应用能力。