一种基于多模态分裂注意力融合的情绪识别方法

本发明公开了一种基于多模态分裂注意力融合的情绪识别方法，该包括：获取待识别的多模态数据；利用情绪识别模型对待识别的多模态数据进行情绪识别，情绪识别模型包括：初始特征提取模块、高级特征提取模块、MSAF模块和情绪分类器，初始特征提取模块包括初始文本特征提取单元、初始音频特征提取单元和初始视频特征提取单元，初始文本特征提取单元采用Transformer模型作为编码器；初始音频特征提取单元和初始视频特征提取单元采用AKFC网络作为编码器；高级特征提取模块中上下文信息获取单元和成对跨模态特征交互单元，上下文信息获取单元包括RGCN和Graph Transformer模型；MSAF模块用于确定融合特征；情绪分类器模块用于进行情绪识别。本发明能够提高对情绪的识别准确率。