一种基于Transformer模态内感知和模态间交叉融合的多模态情感识别方法

本发明公开了一种基于Transformer模态内感知和模态间交叉融合的多模态情感识别方法，步骤包括：首先，对语音和文本进行编码提取深度特征，然后基于本发明提出的基于Transformer的模态内感知模块，捕获各个模态内部的长距离依赖关系，实现情感特征的局部感知学习，降低深度特征中的冗余信息；其次，为了融合未对齐的多模态序列信息，充分利用不同模态信息的互补性，本发明提出基于Transformer的模态间交互融合模块来捕捉不同模态间信息依赖关系，获得融合后的多模态全局信息；最后，进行了消融实验，验证了该方法的有效性。本发明实现了对多模态情感识别的有效并行计算，进一步提高多模态情感识别系统的识别性能和泛化能力。