一种基于多模态信息融合的情绪状态检测方法

本发明涉及一种多模态信息融合的情绪状态检测方法，首先使用预训练模型作为特征提取器，提取多模态特征表达能力；然后通过信息聚合模块实现多模态情感识别任务中的特征对齐与动态权重分配，通过动态权重分配精准评估各模态数据对分类结果的贡献度，进而更充分地利用模态间的互补性信息，抑制噪声；最后通过多模态瓶颈网络进行模态信息的整合和压缩，通过引入一个瓶颈单元，强制模型在进行跨模态交互时必须通过该单元进行信息交互，再次基础上跨模态信息交互，可以实现更加高效精确的信息融合。本发明方法解决了多模态情感识别中存在的传统特征提取方表示能力不足、多模态数据异质性强以及多模态特征融合时计算冗余等问题。