一种基于模态间信息交换的多模态融合情感分析方法和装置

本发明公开了一种基于模态间信息交换的多模态融合情感分析方法和装置，涉及情感分析技术领域，包括：对待分析多模态情感数据生成的原始文本特征、原始音频特征和原始视频特征；采用sLSTM层确定原始文本特征的中间文本特征；基于声学词汇表和视觉词汇表确定原始音频特征和原始视频特征的音频索引标签序列特征和视频索引标签序列特征，并分别与中间文本特征跨模态交互输出音频文本特征和视频文本特征；对中间文本特征、音频文本特征和视频文本特征添加[CLS]，并跨膜态信息交换确定标准音频交换文本特征、标准文本交换音频特征、标准视频交换文本特征和标准文本交换视频特征后，融合分类输出情感分析结果。基于上述方案，提升多模态融合情感分析的可靠性。