基于上下文感知和跨模态共享注意力的对话情感识别方法

一种基于上下文感知和跨模态共享注意力的对话情感识别方法，采集不同对话场景下的蕴含上下文的文本以及音频信息形成数据集，完成数据集的构建；对构建的数据集进行预处理，以提取相应的模态特征；分别搭建一个音频上下文感知网络、一个跨模态共享注意力网络及一个自适应融合网络，再将所搭建的网络依次连接形成初始情感识别模型；对初始情感识别模型进行端到端的训练，对训练好的情感分类模型进行保存，形成情感识别模型；采用特征编码器对所采集到的文本及音频数据进行特征提取，得到文本及音频特征；将文本及音频特征输入至情感识别模型中，利用情感识别模型识别并输出预定义的情况类别。该方法能有效解决空间异质性问题，具备优异的识别效果。