一种基于超图层级对比学习的多模态情感识别方法

本申请涉及一种基于超图层级对比学习的多模态情感识别方法，对语音数据、文本数据、图像数据分别进行特征提取；基于时间序列，并基于提取出的语音模态特征、文本模态特征、图像模态特征构建节点，以两节点之间的相似度作为边的权重，构建模态互联图；将每个时间步的模态互联图分别聚合为不同的超点，以两超点之间的语义相似度确定超边的生成，构建第一超图；对第一超图分别进行成员掩码和节点掩码，分别得到第二超图、第三超图；基于第一超图、第二超图、第三超图进行多层级对比学习，并计算联合损失；增强三种模态特征的融合特征，得到增强特征，基于联合损失对增强特征进行联合优化，得到多模态情感表示，基于多模态情感表示预测情感识别结果。