基于跨模态注意力融合的缺失模态情感识别方法及系统

本发明提出了一种基于跨模态注意力融合的缺失模态情感识别方法及系统，属于情感识别技术领域，包括：获取待识别情感的多模态数据；对多模态数据的缺失模态标记缺失模态指示并进行特征预处理得到初级特征和预处理特征；对各个模态的初级特征进行特征提取得到高级特征；利用跨模态注意力融合层对各个模态的高级特征计算模态之间的注意力分数，根据注意力分数对高级特征进行加权求和，同时通过门控融合机制动态调整各模态特征融合程度，得到初步融合特征；将初步融合特征与预处理特征经过残差连接模块融合得到全模态特征；采用深度分类网络对全模态特征进行情感识别。本发明学习不同模态数据间的相互关系实现多模态情感的有效识别。