基于缺失模态重建的多模态会话情感识别方法及系统

本发明提供了一种基于缺失模态重建的多模态会话情感识别方法及系统，包括：采集多模态情感数据；对所述多模态情感数据进行预处理；对预处理后的数据使用标签编码和特征融合的方法重建缺失的模态信息；将重建后的音频模态和视频模态的特征投影至文本模态空间，训练情感识别模型；将重建的三个模态特征输入至情感识别模型中进行情感分类。本发明提出了模态重建和文本空间投影的方法，显著提高了模态缺失情况下情感识别模型的性能。