多模态对话情绪识别方法、装置、电子设备及介质

本发明提供了一种多模态对话情绪识别方法，包括：同时训练多模态情感分析数据集和对话情绪识别数据集，获得联合训练后的特征提取模型；利用联合训练后的特征提取模型对输入的对话情绪识别数据集进行特征优化并进行特征嵌入操作，获得多模态嵌入特征向量；对多模态嵌入特征向量进行上下文信息捕获，获得多模态局部特征向量；对多模态嵌入特征向量进行远程的上下文关系和信息获取，获得多模态全局特征向量；利用跨模态网络对多模态嵌入特征向量进行跨模态交互，获得多模态交互特征向量；根据多模态局部特征向量、多模态全局特征向量和多模态交互特征向量进行情绪分类，获得多模态对话情绪识别结果。