基于自适应重构超图的多模态情感计算方法及系统

本发明提供了一种基于自适应重构超图的多模态情感计算方法及系统，包括：基于目标对象的视频获取目标对象的文本、语音和视觉序列，提取文本特征、语音特征和视觉特征；文本特征、语音特征和视觉特征分别进行特征编码得到带有时序关系的文本、语音和视觉模态；将带有时序关系的文本、语音和视觉模态的所有时间序列点作为超图节点，并初始化不同时序点之间的连接关系，获取超图结构和超图结构点特征；针对超图结构和超图结构点特征，优化超图结构点特征，得到优化后的超图结构点特征；获取超图结构最后一层点特征，对最后一层点特征进行平均池化，将最后一层点特征聚合为最终的多模态情感向量表征；基于最终的多模态情感向量表征进行情感类别判断。