一种多模态情绪分析方法和装置

本发明公开了一种多模态情绪分析方法和装置，涉及情感分析技术领域。方法包括：对多模态情绪数据各模态情绪进行预处理并进行维度对齐，确定目标文本特征、对齐视频特征和对齐音频特征；采用单模态编码器分别对对齐视频特征和对齐音频特征进行编码，对应得到目标视频特征和目标音频特征；通过跨模态融合网络和跨膜态转换网络基于目标文本特征、目标音频特征和目标视频特征进行跨膜态注意力机制运算后输入Transformer网络进行自注意力运算后进行特征融合，确定情绪融合特征；采用情感分类层对情绪融合特征进行情感分类，输出情绪分析结果。基于上述方案，减少了模态交互时的信息丢失，提升了多模态情绪分析的可靠性。