基于层次超图知识提取的多模态情感计算方法及系统

本发明提供了一种基于层次超图知识提取的多模态情感计算方法及系统，包括：基于目标对象的视频获取目标对象的文本、语音和视觉序列，基于目标对象的文本、语音和视觉序列提取文本特征、语音特征和视觉特征；文本特征、语音特征和视觉特征通过特征编码器分别进行特征编码得到带有时序关系的文本、语音和视觉模态；对带有时序关系的文本、语音和视觉模态分别进行单模态超图构建，并利用超图卷积进行单模态情感知识提取，再经过超图输出得到单模态情感表征；基于单模态情感表征构建多模态全连接超图，并利用超图卷积进行多模态情感知识提取，再经过超图输出得到最终的多模态情感表征；基于最终的多模态情感表征进行情绪分类和情感极性分类。