基于门控特征选择与专家建模的多模态情感识别方法及系统

本发明公开了一种基于门控特征选择与专家建模的多模态情感识别方法及系统，方法包括以下步骤：获取原始语音信号和原始文本后分别提取不同层级的语音特征和文本特征，通过对应的门控特征选择网络从不同层级的语音特征和文本特征中动态选择最合适的语音特征与文本特征并加权融合，得到融合后的语音特征与融合后的文本特征后拼接得到多模态融合特征；通过模态混合专家Transformer模块对多模态融合特征中不同模态的信息进一步捕捉后再次融合，得到新的多模态融合特征，然后通过混合专家Transformer模块中最适合处理新的多模态融合特征的专家模型对进行处理，得到最终的预测结果并以此预测情感状态。本发明提高了对情感的预测准确率。