主观模态与客观模态相融合的情绪识别模型方法和系统

本发明公开了一种主观模态与客观模态相融合的情绪识别模型方法和系统。该情绪识别模型方法和系统包括：针对分析对象人员，获取分析对象人员相关的主观模态数据和客观模态数据；针对静态视觉特征、表情嵌入特征序列、音频特征序列和文本特征序列，通过多头注意力机制实现特征交互与融合，得到综合特征表示；将综合特征输入到多层感知机，输出主观模态下的情绪识别结果；将提取获得的脑电通道的频域特征输入到堆叠双向LSTM模型中，捕捉时间序列依赖关系，输出客观模态下的情绪识别结果；采用决策级融合策略，将“主观模态下的情绪识别结果”与“客观模态下的情绪识别结果”进行加权融合，得到全面的情绪识别结果。