基于树形图注意力机制的多模态情感分析算法

本发明公开了一种基于树形图注意力机制的多模态情感分析算法，包括：多尺度升维融合网络；树形图注意力网络；多尺度降维修正网络；首先，以文本模态为主模态的多尺度融合模块，从不同粒度上进行信息交互，减少不同模态异构结构的影响。接着使用树形图注意力机制网络对融合特征进行结构化注意力分解和渐进特征解耦，使用三个不同的子图分别关注同时间步的信息以及不同时间步的信息，使模型关注到情感异步的情况，同时以二叉树的结构化形式构建注意力通道，从粗粒度到细粒度的结构化信息聚合。最后通过降维修正网络来调整融合特征的情感信息，缓解模态冲突所带来的干扰。上述多模态融合方法，能够在多模态情感分析领域有显著优势。