一种基于元信息的多层次图多模态情感分析方法和装置

一种基于元信息的多层次图多模态情感分析方法和装置，其方法包含：首先使用BERT、OpenFace 2.0和Librosa提取文本、视频和音频数据的高层次特征，并通过BiLSTM进行时序编码，之后通过MLP将各模态特征映射到统一空间；接着，利用共享和私有多模态编码器分别捕捉模态不变和特异特征；针对模态特异特征，采用GNN构建模态图，并结合语法依存树和自注意力计算图边权重，以对齐模态内的元信息；通过Cross‑Attention将视频和音频特征与文本对齐，构建新的多模态图并提取多层次特征；随后，应用卷积、BiLSTM和GNN提取局部、时序和全局特征，通过跨模态注意力机制实现多层次特征融合；各模态特征图和模态不变特征输入图知识蒸馏模块后，进行降维处理，并通过Transformer和多头注意力机制进一步融合特征，最终得到情感预测值。