一种基于超图注意神经网络的多模态社会关系抽取方法

本发明公开了一种基于超图注意神经网络的多模态社会关系抽取方法，包括：获取多模态数据集；对多模态数据集进行特征提取，获取文本特征和图像特征；基于文本特征和图像特征，获取节点特征矩阵，根据节点特征，获取超图关联矩阵；将节点特征矩阵和超图关联矩阵输入至超图神经网络，学习节点间的高阶复杂关系，对更新后的超图节点特征进行池化处理，获取超图特征；利用交叉扩散注意力模块对超图特征进行去噪处理，获取超图特征表示；将超图特征和文本特征和图像特征进行拼接，获取最终特征；基于最终特征，获取社会关系预测结果。本发明构建了多模态超图，并提出了超图注意神经网络，有效地学习了多模态数据间的高阶复杂关系。