一种基于多重融合特征组合的多模态情感分析方法

本发明公开了一种基于多重融合特征组合的多模态情感分析方法，涉及人工智能中多模态识别处理领域。首先，改进了跨模态多头注意力模型的并行结构，提出了一种串行跨模态情感分析交互方法，该方法采用由多头注意力和GRU网络组成的两层交互网络，并在第一层交互网络中以文本作为查询，以音频作为关键字和值，然后将第一层的交互结果作为第二层的查询与视觉进行交互。其次，提出了一种多模态情感分析的加权融合方法，将视频和音频特征与文本特征对齐。最后，通过三种不同的融合方法从不同角度实现多模态情感特征融合与关联挖掘，加强三种融合方法之间的联系与互补。